JP2021119437A - Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program - Google Patents
Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program Download PDFInfo
- Publication number
- JP2021119437A JP2021119437A JP2020013204A JP2020013204A JP2021119437A JP 2021119437 A JP2021119437 A JP 2021119437A JP 2020013204 A JP2020013204 A JP 2020013204A JP 2020013204 A JP2020013204 A JP 2020013204A JP 2021119437 A JP2021119437 A JP 2021119437A
- Authority
- JP
- Japan
- Prior art keywords
- data
- node
- spontaneous movement
- data management
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 408
- 230000002269 spontaneous effect Effects 0.000 title claims abstract description 271
- 238000013523 data management Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims description 42
- 238000003860 storage Methods 0.000 claims abstract description 334
- 238000011156 evaluation Methods 0.000 claims abstract description 125
- 238000004891 communication Methods 0.000 claims abstract description 36
- 230000021542 voluntary musculoskeletal movement Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 abstract 1
- 230000037430 deletion Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 89
- 238000009826 distribution Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 238000013500 data storage Methods 0.000 description 23
- 238000012546 transfer Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 235000008694 Humulus lupulus Nutrition 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、分散ストレージにおいてデータ配置制御を行う、データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラムに関する。 The present invention relates to a data management system, a data management device, a spontaneous movement condition determination device, a spontaneous movement destination selection device, an archive instruction device, a data management method, and a program that control data arrangement in distributed storage.
従来、データにアクセスする端末またはアプリケーション(以下「ユーザ端末」という。)にとって便利な場所にあるデータ保存場所(ストレージ)にデータを配備する技術として、キャッシュ制御技術が知られている。データ保存場所として選択される場所(便利な場所)の特徴として、例えば遅延の有無などで定義されるQoS(Quality of Service)が良好な場所、物理的に近いなどデータ転送エネルギーが小さい場所などが挙げられる。 Conventionally, a cache control technology is known as a technology for deploying data to a data storage location (storage) in a location convenient for a terminal or application (hereinafter referred to as "user terminal") that accesses data. The characteristics of the location (convenient location) selected as the data storage location include, for example, a location with good Quality of Service (QoS) defined by the presence or absence of delay, and a location with low data transfer energy such as being physically close. Can be mentioned.
キャッシュ制御技術では、ユーザ端末のローカリティ(同じ場所からのアクセスが多い)という特性を想定して、ユーザ端末が利用したデータを一時的にそのユーザ端末の近くに保存する機能を提供する。この一時保存データはキャッシュデータと呼ばれ、オリジナルデータの一時的なコピーである。一方で、ストレージの容量は有限であり、不要と思われるキャッシュデータは消去される。不要と判断するアルゴリズムとして、置き換えアルゴリズムと呼ばれるLRU(Least Recent Used)およびTLRU(Time aware Least Recent Used)が知られている(非特許文献1,2参照)。 The cache control technology provides a function of temporarily storing data used by a user terminal near the user terminal, assuming the characteristic of the locality of the user terminal (mostly accessed from the same location). This temporarily stored data is called cached data and is a temporary copy of the original data. On the other hand, the storage capacity is finite, and cache data that seems unnecessary is deleted. LRU (Least Recent Used) and TLRU (Time aware Least Recent Used), which are called replacement algorithms, are known as algorithms to be determined to be unnecessary (see Non-Patent Documents 1 and 2).
LRUは、最近アクセスされたデータから順に並べたデータ列の最後部が削除対象となるアルゴリズムである。また、TLRUは、TTL(Time To Live)およびTTU(Time To Use)を考慮したLRUである。TTLは、データがキャッシュに存在できる時間の限界を示し、いわばデータの賞味期限である。キャッシュデータが生成されてから時間が経過するとオリジナルデータが変化する可能性があるため、TTLを設定することによりデータの正当性を保証する。また、TTUは、データが生成されたときから生存できる時間の限界を示し、いわばデータの消費期限である。 LRU is an algorithm in which the last part of a data string arranged in order from recently accessed data is deleted. Further, the TLRU is an LRU in consideration of TTL (Time To Live) and TTU (Time To Use). The TTL indicates the limit of time that the data can exist in the cache, so to speak, the expiration date of the data. Since the original data may change over time after the cache data is generated, the correctness of the data is guaranteed by setting the TTL. In addition, TTU indicates the limit of the time that the data can survive from the time when the data is generated, so to speak, the expiration date of the data.
上記のような従来技術では、例えば、ストレージデバイスにおいて入力された順にデータが記憶され、記憶容量が一杯になると、データ列のうち先頭にあるデータ(古いデータ)が削除され、新たに入力されたデータがデータ列の最後尾に記憶される。また、ストレージデバイス内のデータに対しアクセスがあった場合には、そのデータは最後尾に移動される。つまり、新しいデータや最後にアクセスがあった時刻が最近のデータを重要なデータとして取り扱っている。しかしながら、これらの指標は、データの重要性を測る指標として十分とは言えない。
また、上記した従来技術では、ストレージデバイスが一杯の場合、ストレージデバイスからデータを削除することしかできず、例えば古くなっても削除されては困るデータがある場合などに不都合が生じる。
In the above-mentioned conventional technique, for example, data is stored in the order of input in the storage device, and when the storage capacity is full, the data (old data) at the beginning of the data string is deleted and newly input. The data is stored at the end of the data string. When the data in the storage device is accessed, the data is moved to the end. In other words, new data and data with the latest access time are treated as important data. However, these indicators are not sufficient as indicators for measuring the importance of data.
Further, in the above-mentioned conventional technique, when the storage device is full, only data can be deleted from the storage device, and inconvenience occurs, for example, when there is data that should not be deleted even if it becomes old.
本発明は、このような事情に鑑みなされたものであり、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことを課題とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to store data without deleting it even when the storage capacity of the storage device is insufficient.
本発明に係るデータ管理システムは、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムであって、前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、前記データ管理装置は、前記自発移動対象データを前記自発移動先ノードに移動し、前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。 The data management system according to the present invention is a data management system including a data management device which is the node in a storage network composed of a plurality of nodes functioning as storage devices, and the data management system stores data. It is provided with the data management device having hot storage and cold storage for the data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and an archive instruction device connected by using the data management device as its own node. The spontaneous movement condition determination device determines that the data is the spontaneous movement target data when the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, and the spontaneous movement destination selection device. Indicates a node to move to a node other than the own node, which is located at a position where the communication cost of the user terminal when accessing the data is reduced, from the node holding the data to be spontaneously moved. The archive instruction device selects the data stored in the hot storage of the own node as the destination node, and the own node selects the data having the smallest usefulness evaluation value, which indicates a higher value as the prediction of the number of future accesses is larger. The instruction information to be moved to the cold storage is transmitted to the data management device, and the data management device moves the spontaneous movement target data to the spontaneous movement destination node, and when the instruction information is received, the hot of the own node is received. It is characterized in that the data having the minimum usefulness evaluation value stored in the storage is moved to the cold storage of the own node.
本発明によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。 According to the present invention, even when the storage capacity of the storage device is insufficient, the data can be stored without being deleted.
次に、本発明を実施するための形態(以下、「本実施形態」と称する。)について説明する。まず、本発明の概要を説明する。 Next, a mode for carrying out the present invention (hereinafter, referred to as "the present embodiment") will be described. First, an outline of the present invention will be described.
<概要>
今日、IoT(Internet of Things)が急速に拡大を続けており、多種多様かつ膨大な数のデバイスがネットワークに接続されつつある。そして、これらのデバイスが生成する膨大なデータの活用が期待されている。例えば、街頭や店舗には既に多くの監視カメラが設置されており、日々の映像を記録している。また、工場等の稼働データを、センサデバイス等を利用して収集している。これらの大量のデータは、ビックデータとして様々なサービスやデータ解析に利用される。
<Overview>
Today, the Internet of Things (IoT) continues to expand rapidly, and a wide variety of devices are being connected to networks. And it is expected that the huge amount of data generated by these devices will be utilized. For example, many surveillance cameras are already installed on the streets and stores to record daily images. In addition, operation data of factories and the like are collected using sensor devices and the like. These large amounts of data are used as big data for various services and data analysis.
この大量のデータ、特にリアルタイムなデータ(ライブデータ)の管理手法について、(1)データセンタでの管理、(2)ストレージネットワーク、つまり、ネットワーク内の分散ストレージによる管理、(3)データを生成(収集)するデバイス(Publisher)自身での管理、の3つの手法が考えられる。この中で(1)データセンタでの管理では、集約地点付近にトラヒックが集中し、ネットワークの輻輳を招くおそれがある。(3)デバイス自身での管理では、通常IoT機器でのデータ記憶容量が小さいため、ライブデータ以外の静的なデータ(デバイスに予め記憶させておくレガシーデータ)の管理は可能であっても、大量のライブデータを記憶することは難しい。これに対し、(2)ストレージネットワークでは、データの取得要求をするユーザ端末(Subscriber)に近い適度な地点にあるストレージ(分散ストレージとしての各ノード)等にデータを保持させることにより、効率的なデータ管理が実現できる。 Regarding the management method of this large amount of data, especially real-time data (live data), (1) management in the data center, (2) management by the storage network, that is, distributed storage in the network, (3) data generation (3) There are three possible methods: management by the device (Publisher) that collects the data. Among these, (1) in data center management, traffic may be concentrated near the aggregation point, causing network congestion. (3) In the management by the device itself, since the data storage capacity of the IoT device is usually small, even if it is possible to manage static data other than live data (legacy data stored in the device in advance), It is difficult to store a large amount of live data. On the other hand, (2) in a storage network, it is efficient to hold data in storage (each node as distributed storage) at an appropriate point near the user terminal (Subscriber) requesting data acquisition. Data management can be realized.
また、従来のライブデータの記憶手段であるストレージ(例えば、HDD(Hard Disk Drive)等)であるホットストレージでは容量やコストにより対応が困難な場合において、コールドストレージとホットストレージとを併用した利用が考えられる。ここで、「ホットストレージ」は、従来のHDDやSSD(Solid State Drive)等のリアルタイムな要求を満足できる常時稼働の記憶媒体である。このホットストレージは、応答速度が例えば10-8〜100(s)と速いが、容量が有限であり、コールドストレージと比べ高コストである。また、「コールドストレージ」は、例えば、DVD(Digital Versatile Disc:登録商標)やCD、BD(Blu-ray Disc:登録商標)等のリアルタイムな要求を満足できない記憶媒体である。このコールドストレージは、応答速度が例えば100〜104(s)と遅いが、容量は超大容量(記憶媒体を増やせば無限と仮定できる。)であり、ホットストレージと比べ低コストである。なお、このコールドストレージに記憶されたデータへのリクエストに対する応答は、例えば、ロボットアームが物理的に動き、棚に格納されたDVD等を取得して、データ読み取り/書き込みモジュール等にセットすることにより行われてもよいし、手動により、データ読み取り/書き込みモジュール等に、DVD等をセットことにより行われてもよい。 In addition, when hot storage, which is a conventional storage method for live data (for example, HDD (Hard Disk Drive)), is difficult to handle due to capacity and cost, cold storage and hot storage can be used together. Conceivable. Here, the "hot storage" is a constantly operating storage medium such as a conventional HDD or SSD (Solid State Drive) that can satisfy real-time requirements. The hot storage is faster response speed for example, 10 -8 ~10 0 (s), the capacity is limited, it is costly compared to cold storage. Further, the "cold storage" is a storage medium such as a DVD (Digital Versatile Disc: registered trademark), a CD, a BD (Blu-ray Disc: registered trademark), or the like that cannot satisfy real-time requirements. The cold storage is slow response speed, for example 10 0 to 10 4 (s), the capacitance is very large capacity (can be assumed infinite Increasing the storage medium.), A low-cost compared to hot storage. The response to the request for the data stored in the cold storage is, for example, by physically moving the robot arm, acquiring a DVD or the like stored on the shelf, and setting it in the data reading / writing module or the like. It may be performed by manually setting a DVD or the like in a data reading / writing module or the like.
このホットストレージとコールドストレージとを、ストレージネットワークの各ノードに備えさせることにより、アクセス時間が大きくても削除したくないデータについては、ホットストレージからコールドストレージに移動させて保存しておく。これにより、リアルタイムな要求に対応する必要がある有用性の高いデータについては、ホットストレージに記憶しておき、有用性の低いデータについては、コールドストレージに記憶しておくことによりデータを削除せずに記憶し続け、ユーザの利便性を高めることができる。 By equipping each node of the storage network with this hot storage and cold storage, data that is not desired to be deleted even if the access time is long is moved from the hot storage to the cold storage and saved. As a result, highly useful data that needs to respond to real-time requests is stored in hot storage, and less useful data is stored in cold storage without deleting the data. It is possible to keep the memory in the user and improve the convenience of the user.
このストレージネットワークは、例えば、図1に示すように、ストレージネットワークの各ノードがツリー構造として接続される。また、後記する図2等のように、各ノードがリンクで線形接続されてもよい。ノード(ストレージノード)間を接続するリンクが、複数のスイッチと複数の伝送路、あるいは、小規模なネットワーク(アンダーレイネットワークと呼ばれる)で構成されていてもよい。
そして、ホットストレージとコールドストレージとを備えた各ノードが接続されたストレージネットワークにおいて、適切なノードを選択してデータを配置するようにする。ここで、適切なノードとは、例えば、遅延の程度等で表されるQoS(Quality of Service)が良好な場所(遅延が少ない場所)や、データの取得要求を行うユーザ端末と物理的に近いなどのデータ転送エネルギーが小さい場所のノードのことをいう。
In this storage network, for example, as shown in FIG. 1, each node of the storage network is connected as a tree structure. Further, as shown in FIG. 2 and the like described later, each node may be linearly connected by a link. The link connecting the nodes (storage nodes) may be composed of a plurality of switches and a plurality of transmission lines, or a small network (called an underlay network).
Then, in the storage network to which each node having hot storage and cold storage is connected, an appropriate node is selected and data is arranged. Here, an appropriate node is, for example, a place where QoS (Quality of Service) expressed by the degree of delay is good (a place where there is little delay) or a user terminal which makes a data acquisition request is physically close. It refers to a node in a place where the data transfer energy is small.
このストレージネットワークによる従来のデータ配置制御では、ホットストレージの容量が溢れたときに、次に示す制御を実行することが想定される。
(制御1)有用性が低いデータを、ノード内のホットストレージからコールドストレージに移動する(以下、「アーカイブ」と称する。)。
(制御2)有用性の高いデータを、他ノードの適切なホットストレージに移動する。
In the conventional data allocation control by this storage network, it is assumed that the following control is executed when the capacity of the hot storage overflows.
(Control 1) Move less useful data from hot storage in a node to cold storage (hereinafter referred to as "archive").
(Control 2) Move highly useful data to an appropriate hot storage of another node.
本実施形態に係るデータ管理システム1000(後記する図3参照)においては、上記の(制御1)および(制御2)で想定される処理に更なる改良を加えた、「自発移動」、「強制移動」、「リアルタイム要求に応じたデータ生成間隔調整」によるデータ配置制御を行う。 In the data management system 1000 (see FIG. 3 described later) according to the present embodiment, "spontaneous movement" and "forced movement" are performed by further improving the processing assumed in (control 1) and (control 2) above. Data placement control is performed by "movement" and "adjustment of data generation interval according to real-time request".
〔自発移動〕
まず、自発移動について説明する。
本実施形態における自発移動とは、あるデータに関して、現状のデータ保持ノードより、データを取得要求するユーザ端末(Subscriber)にとって、より最適な場所にノードが存在するとき、通信コストの低減等のために、当該データを自発的に当該ノード(後記する「最適ノード」)に移動させる処理をいう。
上記の(制御2)の他ノードへの移動は、ホットストレージの容量が溢れたときに、保持するノードを変更して性能改善が可能なデータを移動させる処理である。この(制御2)は、容量溢れが生じたタイミングが契機となるが、本実施形態に係るデータ管理システム1000(図3)の自発移動では、より早期に性能改善を図るために、容量溢れが生じたタイミングに限らず、対象となるデータが、所定の条件(後記する「自発移動条件」)を満たした場合に、最適ノードを選択して移動させる。
[Spontaneous movement]
First, spontaneous movement will be described.
Spontaneous movement in this embodiment means to reduce communication costs when a node exists in a more optimal location for a user terminal (Subscriber) requesting data acquisition than the current data holding node for a certain data. In addition, it refers to a process of voluntarily moving the data to the node (“optimal node” described later).
The above-mentioned (control 2) movement to another node is a process of moving data whose performance can be improved by changing the node to be held when the capacity of the hot storage overflows. This (control 2) is triggered by the timing when the capacity overflow occurs, but in the spontaneous movement of the data management system 1000 (FIG. 3) according to the present embodiment, the capacity overflow occurs in order to improve the performance earlier. Not limited to the timing of occurrence, when the target data satisfies a predetermined condition (“spontaneous movement condition” described later), the optimum node is selected and moved.
あるデータが、自発移動の対象データとなるか否かの判定は、「有用性評価値」と「アクセス偏在性」に基づき決定する。
有用性評価値は、そのデータについて、現時点までのアクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である。有用性評価値が高いほど、そのデータが将来、ユーザ端末からアクセスされる可能性が高い、つまり、そのデータが有用性の高いデータであることを示す。
また、アクセス偏在性は、ノードが保持するデータに対するアクセス元の隣接ノードからのアクセス数の偏りを示す。つまり、あるデータについて、隣接する複数のノードのうち、1つのノードのアクセス偏在性が高いほど、単一方向からそのデータがアクセスされていることを示し、現状ノード(現時点でそのデータを保持するノード)が需要地点ノードである確率が低いことを示している。なお、需要地点ノードとは、自身が収容するユーザ端末(Subscriber)からデータの取得要求を受け付けるノードである。仮に、需要地点ノードに目的とするデータが保持されていれば、他のノードにデータを要求して取得する場合に比べ、データ転送エネルギーが少なく済むとともに、遅延等が減りQoSが良好となる。
Whether or not a certain data is the target data for spontaneous movement is determined based on the "usefulness evaluation value" and the "access uneven distribution".
The usefulness evaluation value is an evaluation value in which the larger the number of future accesses predicted based on the number of accesses up to the present time, the higher the value of the data. The higher the usefulness evaluation value, the higher the possibility that the data will be accessed from the user terminal in the future, that is, the data is highly useful data.
In addition, the uneven distribution of access indicates the uneven distribution of the number of accesses from the adjacent node of the access source to the data held by the node. In other words, for a certain data, the higher the access unevenness of one node among the plurality of adjacent nodes, the more the data is accessed from a single direction, and the current node (holding the data at the present time). It shows that the probability that the node) is a demand point node is low. The demand point node is a node that receives a data acquisition request from a user terminal (Subscriber) accommodated by the user terminal (Subscriber). If the target data is held in the demand point node, the data transfer energy can be reduced, the delay and the like can be reduced, and the QoS can be improved as compared with the case where the data is requested and acquired from another node.
具体的には、図2に示すように、例えば、ストレージネットワークの各ノードが線形接続されている場合において、ノードN10(現状ノード)のホットストレージにデータ「A」が記憶され、そのデータ「A」が所定の自発移動条件を満たすとする。ここで、ユーザ端末Uからデータ「A」についての取得要求を受け付けるノードN50が需要地点ノードとなる。現状ノードに記憶されているデータ「A」は、需要地点ノードとなるノードN50側からのアクセスが多い場合、ノードN10に隣接する(ノードN50方向の)ノードN20のアクセス偏在性が高くなる。よって、アクセス偏在性が高いほど、つまり、単一方向からデータ「A」がアクセスされるほど、現状ノードが需要地点ノードである確率が低く、より最適な(需要地点ノードに近い)ノード(最適ノードN30)への移動する価値が高いことを示す。
図2においては、後記する最適ノード選択処理により、需要地点ノードN50により近いノードN30を最適ノードとして選択し、ノードN10に記憶されていたデータ「A」を、ノードN30に自発移動させた例を示している。
この最適ノード選択処理の詳細については、図11を参照して後記する。
Specifically, as shown in FIG. 2, for example, when each node of the storage network is linearly connected , data "A" is stored in the hot storage of node N 10 (current node), and the data "A" is stored. It is assumed that "A" satisfies a predetermined spontaneous movement condition. Here, the node N 50 that receives the acquisition request for the data “A” from the user terminal U becomes the demand point node. The data "A" stored in the current node has an uneven distribution of access to the node N 20 adjacent to the node N 10 (in the direction of the node N 50 ) when the access from the node N 50 side, which is the demand point node, is large. It gets higher. Therefore, the higher the uneven distribution of access, that is, the more the data "A" is accessed from a single direction, the lower the probability that the current node is the demand point node, and the more optimal (closer to the demand point node) node (optimal). Indicates that it is worth moving to node N 30).
In FIG. 2, the node N 30 closer to the demand point node N 50 is selected as the optimum node by the optimum node selection process described later, and the data “A” stored in the node N 10 is spontaneously moved to the node N 30. An example of making it is shown.
Details of this optimum node selection process will be described later with reference to FIG.
〔強制移動〕
次に、強制移動について説明する。
あるノードに新しいデータを記憶させようとしてデータ溢れが生じた際に、上記の(制御1)のように、そのノードに記憶されているデータのうち、有用性(有用性評価値)の低いデータをアーカイブ操作し、コールドストレージに記憶することができる。ただし、他ノードが、さらに有用性評価値の低いデータを保持していた場合、自ノードのホットストレージに、より有用性評価値の高いデータを保持しておくためには、容量溢れが生じたノードの有用性評価値が最小のデータをアーカイブする代わりに、他ノードにおいて有用性評価値がさらに低い最小のデータをアーカイブすべきである。
つまり、強制移動では、あるノードのホットストレージ容量が溢れたとき、そのノードの有用性評価値が最小のデータが、ストレージネットワークを構成するノード(後記する移動可能ノード)全体で有用性評価値が最小でない場合には、ノード(移動可能ノード)全体のうち、有用性評価値が最小のデータを持つノードを強制移動先ノードとして選択する。そして、選択した強制移動先ノードに、ホットストレージ容量が溢れたノードの有用性評価値が最小のデータを移動する。
この強制移動の詳細については、後記する。
[Forced movement]
Next, forced movement will be described.
When data overflow occurs when trying to store new data in a certain node, as in (Control 1) above, among the data stored in that node, the data with low usefulness (usefulness evaluation value) Can be archived and stored in cold storage. However, if another node holds data with a lower usefulness evaluation value, the capacity overflows in order to hold data with a higher usefulness evaluation value in the hot storage of the own node. Instead of archiving the data with the lowest utility rating on the node, the smallest data with even lower utility ratings on other nodes should be archived.
In other words, in forced movement, when the hot storage capacity of a node overflows, the data with the minimum usefulness evaluation value of that node has the usefulness evaluation value of all the nodes (movable nodes described later) that make up the storage network. If it is not the minimum, the node with the smallest usefulness evaluation value among all the nodes (movable nodes) is selected as the forced move destination node. Then, the data with the minimum usefulness evaluation value of the node whose hot storage capacity has overflowed is moved to the selected forced movement destination node.
Details of this forced displacement will be described later.
〔リアルタイム要求に応じたデータ生成間隔調整〕
つぎに、リアルタイム要求に応じたデータ生成間隔調整について説明する。
データを生成(収集)するデバイス(Publisher)は、所定の時間間隔ごとに、所定の時間内でリアルタイムに生成したデータの集合を、1つのデータ群として、ノードに送信している。このデータ群(広い意味での「データ」と称する。)を生成するデバイスに関して、リアルタイムな要求度(例えば、データ生成後、所定時間内のアクセス数に比例した値)が高い場合には、データ生成間隔を短くすることで、そのデバイスのAoI(Age of Information)を低減することができる。なお、AoIは、情報の鮮度(提供された最新のデータに関する、生成時刻からの経過時間を示す)を意味する。
また、このデータ(データ群)に関して、一定時間内のアクセス数が多いデータと少ないデータとが存在する。この記憶されるデータについて、AoIを考慮しないと、必要以上にストレージを無駄に消費してしまう可能性がある。例えば、アクセス数の少ないデータ(データ群)を生成するデバイスにおいて、AoIを大きくすると、データ容量の大きいデータを1つのデータとして生成し、ノードに送信してホットストレージに記憶することとなる。これに対し、例えば、あるデバイスの60分周期でのデータ群(データ)の生成を、10分周期での生成とすれば、1つのデータのデータ容量を小さくできる。よって、そのデータに関する移動のための転送エネルギー(ネットワーク負荷)を低減することができる。これにより、データ移動の利用から除外されるリンクを減らし、本実施形態におけるデータ配置先(最適ノード)の候補となる移動可能ノード(詳細は後記)を増やすことができる。
よって、リアルタイム要求度が高いデバイスの最新データは、AoIをより小さく、つまり、データ生成間隔を短くするように調整する。一方、リアルタイム要求度の低いデバイスの最新データは、AoIをより大きく、つまり、データ生成間隔を長くするように調整する。
[Adjusting the data generation interval according to real-time requests]
Next, the data generation interval adjustment according to the real-time request will be described.
A device (Publisher) that generates (collects) data transmits a set of data generated in real time within a predetermined time to a node as one data group at predetermined time intervals. With respect to the device that generates this data group (referred to as "data" in a broad sense), if the real-time demand (for example, a value proportional to the number of accesses within a predetermined time after data generation) is high, the data By shortening the generation interval, the AoI (Age of Information) of the device can be reduced. Note that AoI means the freshness of information (indicating the elapsed time from the generation time of the latest provided data).
Further, regarding this data (data group), there are data with a large number of accesses and data with a small number of accesses within a certain period of time. If AoI is not taken into consideration for this stored data, storage may be wasted more than necessary. For example, in a device that generates data (data group) with a small number of accesses, if AoI is increased, data having a large data capacity is generated as one data, transmitted to a node, and stored in hot storage. On the other hand, for example, if the generation of a data group (data) in a 60-minute cycle of a certain device is generated in a 10-minute cycle, the data capacity of one data can be reduced. Therefore, the transfer energy (network load) for moving the data can be reduced. As a result, it is possible to reduce the number of links excluded from the use of data movement and increase the number of movable nodes (details will be described later) that are candidates for the data placement destination (optimum node) in the present embodiment.
Therefore, the latest data of a device with high real-time demand adjusts AoI to be smaller, that is, to shorten the data generation interval. On the other hand, the latest data of devices with low real-time demand adjusts AoI to be larger, that is, to increase the data generation interval.
以下、本実施形態に係るデータ管理システム1000等について説明する。
Hereinafter, the
<本実施形態>
図3は、本実施形態に係るデータ管理システム1000を含むストレージネットワークの全体構成を示す図である。
図3に示すように、データ管理システム1000は、データ管理装置1と、上記した「自発移動」を実現するために用いられる装置群である、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23と、上記した「強制移動」を実現するために用いられる装置群である、強制移動対象データ選択装置31および強制移動先選択装置32と、上記した「データ生成間隔調整」を実現するために用いられる生成間隔調整装置40とを備える。
データ管理装置1は、ストレージネットワークにおいてストレージデバイスとして機能する、上記した各ノードであり、ホットストレージで構成される有限容量蓄積部100と、コールドストレージで構成される無限容量蓄積部105とを備える。そして、複数の上記データ管理システム1000がネットワークを介して接続され、全体としてストレージネットワークを構築する。
<The present embodiment>
FIG. 3 is a diagram showing an overall configuration of a storage network including the
As shown in FIG. 3, the
The data management device 1 is each of the above-mentioned nodes that functions as a storage device in the storage network, and includes a finite
自発移動に関する装置群である、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23は、1つのデータ管理装置1ごとに設けられ、これらの装置間および当該データ管理装置1に通信接続される。
強制移動に関する装置群である、強制移動対象データ選択装置31および強制移動先選択装置32は、1つのデータ管理装置1ごとに設けられ、これらの装置間および当該データ管理装置1に通信接続される。
また、データ生成間隔調整に関する装置である生成間隔調整装置40は、1つのデータ管理装置1ごとに設けられ、当該データ管理装置1およびデータを生成するデバイス(Publisher)に通信接続される。
The spontaneous movement
The forced movement target
Further, the generation
これらの自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40は、制御部、入出力部、記憶部(いずれも図示省略)を備えるコンピュータにより構成される。各装置は、自身が行う処理において各データ管理装置1の後記する状態情報が必要な場合には、自身と接続されるデータ管理装置1の記憶部12に記憶された状態情報を参照して処理を実行する。各装置が備える機能の詳細な説明は、データ管理装置1の詳細な説明の中で併せて記載する。
The spontaneous movement
≪データ管理装置および各装置の説明≫
次に、図3等を参照して、データ管理装置1、および、「自発移動」「強制移動」「データ生成間隔調整」に関する各装置の詳細について説明する。
データ管理装置1は、通信接続されたデバイス(Publisher)Pからのデータを、ホットストレージ(有限容量蓄積部100)に記憶するとともに、必要に応じて、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へデータを移動するアーカイブを実行する。また、データ管理装置1は、上記した、「自発移動」「強制移動」「リアルタイム要求に応じたデータ生成間隔調整」を上記した各装置と連携して行うことにより、より適切なデータ配置制御を行う。
このデータ管理装置1は、制御部10と、入出力部11と、記憶部12とを備える。
≪Explanation of data management device and each device≫
Next, with reference to FIG. 3 and the like, the details of the data management device 1 and each device related to "spontaneous movement", "forced movement", and "data generation interval adjustment" will be described.
The data management device 1 stores the data from the communication-connected device (Publisher) P in the hot storage (finite capacity storage unit 100), and colds the data from the hot storage (finite capacity storage unit 100) as needed. An archive that moves data to the storage (infinite capacity storage unit 105) is executed. Further, the data management device 1 performs more appropriate data arrangement control by performing the above-mentioned "spontaneous movement", "forced movement", and "adjustment of data generation interval according to real-time request" in cooperation with each of the above-mentioned devices. conduct.
The data management device 1 includes a
入出力部11は、他のデータ管理装置1や、データを生成する各デバイス(Publisher)、自身が収容する複数のユーザ端末(Subscriber)等との間で情報の入出力を行う。また、入出力部11は、自身と通信接続される各装置(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40)との間で情報の入出力を行う。この入出力部11は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置との間で情報の入出力を行う入出力インタフェースとから構成される。
The input /
記憶部12は、ハードディスクやフラッシュメモリ、RAM(Random Access Memory)、データ読み取り/書き込みモジュール等により構成される。
この記憶部12(記憶手段)は、上記したホットストレージで構成される有限容量蓄積部100と、上記したコールドストレージで構成される無限容量蓄積部105を含んで構成される。
また、記憶部12には、さらに、自身が記憶するデータに対するアクセス元(他のデータ管理装置1やユーザ端末)とそのアクセス数や、他のデータ管理装置1の記憶容量に関する情報(ホットストレージの空き容量等)、他のデータ管理装置1との接続状況(例えば、リンクの使用量)の情報(以下、これらの情報をまとめて「状態情報」と称する。)等が保存される。なお、上記したストレージネットワークの各ノードによるネットワーク構成において、リンクが用いられている場合、リンクの使用状況(状態情報)として、各リンクの使用量の合計や使用量の平均といった統計値を用いる。
そして、この記憶部12には、制御部10の各機能部を実行させるためのプログラムや、制御部10の処理に必要な情報(所定の閾値等)が記憶される。
The
The storage unit 12 (storage means) includes a finite
Further, the
Then, the
制御部10は、データ管理装置1が実行する処理の全般を司り、図3に示すように、状態監視部110と、取得要求処理部120と、自発移動処理部130と、データ蓄積部140と、強制移動処理部150とを含んで構成される。
The
状態監視部110は、各データ管理装置1のデータ毎のアクセス元およびその処理回数(後記するアクセス数「A」)や、各データ管理装置1間のリンクの使用状況(リンク使用量)、各データ管理装置1の有限容量蓄積部100(ホットストレージ)の空き容量や有用性評価値が最小のデータ等の情報(状態情報)を取得し、記憶部12に記憶しておく。
なお、状態監視部110において、ストレージネットワーク内のどのデータ管理装置1から状態情報等を取得できるかは、予め設定される。例えば、ストレージネットワークが線形接続で構成される場合において、隣接するNホップ(Nは正の整数)までのデータ管理装置1から状態情報等を取得できるものとして設定される(詳細は後記)。そして、状態監視部110は、隣接する各データ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されるデータのうち、有効性評価値が最小のデータの(最新の)情報を取得し記憶しておく。
また、状態監視部110は、自身が有限容量蓄積部100および無限容量蓄積部105に格納するデータについても同様にアクセス元およびアクセス数の情報を計測し、記憶部12に記憶しておく。
The
The
Further, the
取得要求処理部120は、自身のデータ管理装置1が収容するユーザ端末(図示省略)や他のデータ管理装置1から、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶されているデータを、応答情報として返信する。
また、取得要求処理部120は、その取得要求(リクエスト)が自身の記憶部12に記憶したデータではなく、他のデータ管理装置1が記憶するものである場合には、当該他のデータ管理装置1に向けて、取得要求を転送する。
取得要求処理部120は、取得要求を受け付けると、そのデータのアクセス元および取得要求があった回数(アクセス数「A」)を、状態監視部110に出力することにより記憶部12に記憶させる。
The acquisition request processing unit 120 receives a data acquisition request (request) from a user terminal (not shown) or another data management device 1 housed in its own data management device 1, and stores a finite capacity in the
Further, when the acquisition request (request) is not the data stored in its
When the acquisition request processing unit 120 receives the acquisition request, the acquisition request processing unit 120 outputs the access source of the data and the number of times the acquisition request has been made (access number “A”) to the
自発移動処理部130は、あるデータについて、上記した有用性評価値とアクセス偏在性とを算出する。なお、この有用性評価値とアクセス偏在性とを算出する対象となるデータ(以下「対象データ」と称する。)は、例えば、あるデータが取得要求(リクエスト)を受けた際に、それを契機としてそのデータを算出対象としてもよいし、有限容量蓄積部100(ホットストレージ)に記憶された各データを、所定の時間間隔で抽出し、算出対象としてもよい。
そして、自発移動処理部130は、算出した有用性評価値とアクセス偏在性とを自発移動条件判定装置21に送信する。そして、自発移動処理部130は、自発移動条件判定装置21が、有用性評価値とアクセス偏在性とに基づく所定の自発移動条件を満たすと判定した場合に、その対象データを、自発移動の対象となるデータ(以下、「自発移動対象データ」と称する。)であるとする。
また、自発移動処理部130は、自発移動対象データについて、移動先となる最適ノードを選択した結果を自発移動先選択装置22から受け取り、そのデータ管理装置1に移動(自発移動)させる。
以下、自発移動処理部130の機能と、自発移動に関する各装置が備える機能の詳細を、図4等を参照して説明する。
The spontaneous
Then, the spontaneous
Further, the spontaneous
Hereinafter, the functions of the spontaneous
図4は、本実施形態に係る自発移動処理部130の機能と、自発移動に関する各装置が備える機能の詳細を説明するための図である。
図4に示すように、自発移動処理部130は、有用性評価部131、アクセス偏在性算出部132、自発移動実行部133およびアーカイブ実行部134を含んで構成される。
FIG. 4 is a diagram for explaining the details of the functions of the spontaneous
As shown in FIG. 4, the spontaneous
有用性評価部131は、各データ(対象データ)について、現時点までのアクセス数に基づく今後の(現時点から将来における)アクセス数の予測値が大きいものほど高い値となる評価値として、有用性評価値を算出する。
具体的には、有用性評価部131は、例えば、十分に時間が経過するとアクセスが無くなるという前提のもと、時間軸に対する累積アクセス数をある値に収束する関数で近似し、その収束値と時刻tにおける累積アクセス数の差を有用性評価値とする。
有用性評価部131は、各データ(対象データ)について有用性評価値を算出すると、その情報を、自発移動条件判定装置21に送信する。
The
Specifically, the
When the
アクセス偏在性算出部132は、あるデータを保持するノードに隣接する各ノードからの、当該データに対するアクセス数の偏りを示すものとしてアクセス偏在性を算出する。以下、具体的に説明する。
図5は、本実施形態におけるアクセス偏在性を説明するための図である。
ここでは、ストレージネットワークのトポロジが、ノードN1 ,N2 ,N3 ,…,N7の線形接続であるものとして説明する。前提として、各ノード(データ管理装置1)は、近接したノードやリンクの状態情報を収集する。また、図5に示すノードN4が保持するデータDxが、時刻tまでに計M回アクセスされたものとする。その内訳は、ノードNiが収容するユーザ端末からAi t回(Σ7 i=1Ai t = M)である。ここで、「Ai t」回は、時刻tにおけるノードiでのアクセス数である。ただし、ノードN4では2ホップより先は状態情報等を取得できないものとし、データDxに対して、ノードN2より先からは(A1 t+A2 t)回、ノードN6より先からは(A6 t+A7 t)回、アクセスがあったとする情報をノードN4が取得する。
The access
FIG. 5 is a diagram for explaining the uneven distribution of access in the present embodiment.
Here, it is assumed that the topology of the storage network is a linear connection of nodes N 1 , N 2 , N 3 , ..., N 7. As a premise, each node (data management device 1) collects state information of adjacent nodes and links. Further, it is assumed that the data D x held by the node N 4 shown in FIG. 5 has been accessed M times in total by the time t. The breakdown is A i t times from the user terminal to the node N i is accommodated (Σ 7 i = 1 A i t = M). Here, "A i t " times is the number of accesses at the node i at time t. However, it is assumed that the state information etc. cannot be acquired after 2 hops at the node N 4 , and the data D x is (A 1 t + A 2 t ) times from the node N 2 and after, and from the node N 6 and after. (A 6 t + A 7 t ) times, node N 4 acquires the information that the access has been made.
図5に示す例において、例えば、
max(Σ3 i=1Ai t , A4 t , Σ7 i=5Ai t)= Σ3 i=1Ai t
のとき、データDxはノードN3の方向から、より多くのアクセスがある。このため、アクセス偏在性算出部132は、
Σ3 i=1Ai t/M
を、アクセス偏在性とする。
アクセス偏在性算出部132は、各データ(対象データ)についてアクセス偏在性を算出すると、その情報を、自発移動条件判定装置21に送信する。
In the example shown in FIG. 5, for example,
max (Σ 3 i = 1 A i t , A 4 t , Σ 7 i = 5 A i t ) = Σ 3 i = 1 A i t
At, the data D x has more access from the direction of node N 3. Therefore, the access uneven
Σ 3 i = 1 A i t / M
Is the access uneven distribution.
When the access uneven
図4に戻り、自発移動条件判定装置21は、有用性評価部131が算出した有用性評価値と、アクセス偏在性算出部132が算出したアクセス偏在性とに基づき、所定の自発移動条件を満たす場合に、そのデータを、自発移動の対象となるデータ(自発移動対象データ)であると判定する。
Returning to FIG. 4, the spontaneous movement
この所定の自発移動条件は、例えば、有用性評価値およびアクセス偏在性の両方が十分に高いと評価される条件である。具体的には、有用性評価値が所定の閾値(所定の第1閾値)以上であり、かつ、アクセス偏在性が所定の確率(割合)(所定の第2閾値)以上である、という条件を満たすことが自発移動条件となる。この所定の閾値および所定の確率(割合)は、予め設定される。
自発移動条件判定装置21は、そのデータを、自発移動対象データであると判定した旨の情報を自発移動先選択装置22に送信する。
This predetermined spontaneous movement condition is, for example, a condition in which both the usefulness evaluation value and the access uneven distribution are evaluated to be sufficiently high. Specifically, the condition that the usefulness evaluation value is equal to or higher than a predetermined threshold value (predetermined first threshold value) and the access uneven distribution is equal to or higher than a predetermined probability (ratio) (predetermined second threshold value) is satisfied. Satisfaction is a condition for voluntary movement. The predetermined threshold value and the predetermined probability (ratio) are set in advance.
The spontaneous movement
自発移動先選択装置22は、データにアクセスする際のユーザ端末の通信コストが削減される位置にある他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す最適ノード(自発移動先ノード)として選択する。
この最適ノード選択処理は、以下に示す所定手順で実行される。
なお、ここでは図5で示すように、ノードN4が保持するデータDxが、自発移動対象データであるものとして説明する。
The spontaneous movement
This optimum node selection process is executed according to a predetermined procedure shown below.
Here, as shown in FIG. 5, the data D x held by the node N 4 will be described as being the data to be spontaneously moved.
(手順1)候補ノード(ノードN4が状態情報を取得可能なノード)から、アクセス偏在性が高い方向以外にあるノードを除く。なお、ここでは、例として2ホップ先のノードまでを、その自発移動対象データを保持するノード(データ管理装置1)が状態情報を取得可能なノード(候補ノード)として説明する。ここでは、ノードN4からみて候補ノードは、ノードN2, N3, N4, N5, N6となる。
よって、(手順1)では、例えば、ノードN4からみて、アクセス偏在性の高い方向がノードN3側である場合、候補ノードからノードN5, N6が除かれ、ノードN2, N3, N4に候補ノードが絞り込まれる。
これにより、ユーザ端末がデータにアクセスする際の通信コストが増加する位置にある候補ノードが除外される。つまり、通信コストが削減される位置にある候補ノードに絞り込まれる。
(Step 1) from the candidate node (node N 4 capable of acquiring the state information nodes), than the node that is not in the access ubiquitous high direction. Here, as an example, up to a node two hops ahead will be described as a node (candidate node) in which the node (data management device 1) holding the spontaneous movement target data can acquire the state information. Here, the candidate nodes from the viewpoint of node N 4 are nodes N 2 , N 3 , N 4 , N 5 , N 6 .
Therefore, in (Step 1), for example, when viewed from the node N 4, when high access ubiquitous direction is the node N 3 side, the node N 5, N 6 are removed from the candidate node, a node N 2, N 3 , the candidate node is narrowed down to N 4.
As a result, the candidate node at the position where the communication cost when the user terminal accesses the data increases is excluded. In other words, it is narrowed down to candidate nodes that are in a position where communication costs can be reduced.
(手順2)候補ノードまでのリンク使用状況に基づき、移動可能ノードを選択する。
例えば、各リンクに予め設定されている上限使用量に対して、時刻tにおけるリンク使用量とデータDxのサイズの和が小さい場合、当該リンクをデータ移動に用いることができると判断する。
具体的には、図5に示す、ノードN4が状態情報を取得可能なリンクのうち、リンクL23のみが、上記の和の値が上限使用量を超えて条件を満たさない場合に、候補ノード(ノードN2, N3, N4)のうち、リンクL23を移動時の通信経路に含まないノードN3, N4が移動可能ノードとして選択される。
(Procedure 2) Select a movable node based on the link usage status to the candidate node.
For example, it is determined that the relative upper limit amount that is set in advance to each link, if the sum of the size of the link usage and data D x at time t is small, it is possible to use the link to the data movement.
Specifically, among the links shown in FIG. 5 in which the node N 4 can acquire the state information, only the link L 23 is a candidate when the value of the above sum exceeds the upper limit usage amount and does not satisfy the condition. Of the nodes (nodes N 2 , N 3 , N 4 ), the nodes N 3 , N 4 that do not include the link L 23 in the communication path at the time of movement are selected as the movable nodes.
(手順3)移動可能ノードの保持するデータの有用性評価値の最小値に基づき、保持可能ノードを選択する。
例えば、データDxの有用性評価値がSxであり、ノードN3, N4の保持するデータの有用性評価値の最小値がそれぞれS3 min, S4 min(S3 min, S4 min < Sx)である場合、移動可能ノードのうち、保持可能ノードとしてノードN3, N4が選択される。
なお、データDxの有効性評価値SxがそのデータDxを保持するノード(ノードN4)における最小値であり、移動可能ノードの保持するデータの中でも最小値の場合、つまり、Sx=S4 min <S3 minである場合には、自発移動先選択装置22は、その旨の情報を、アーカイブ指示装置23に送信する。そして、アーカイブ指示装置23が、そのデータDxを保持するノード(ノードN4)において、当該データDxをアーカイブさせる指示情報を、自発移動処理部130(アーカイブ実行部134)に送信する。アーカイブ実行部134は、ホットストレージからコールドストレージへ移動するアーカイブを、そのデータDxについて実行する。
(Procedure 3) Select a retainable node based on the minimum value of the usefulness evaluation value of the data held by the movable node.
For example, the usefulness evaluation value of the data D x is S x , and the minimum value of the usefulness evaluation value of the data held by the nodes N 3 and N 4 is S 3 min and S 4 min (S 3 min , S 4 respectively). When min <S x ), nodes N 3 and N 4 are selected as the retainable nodes among the movable nodes.
Note that the minimum value at the node (node N 4) efficacy evaluation value S x data D x to hold the data D x, when the minimum value among the data held by the movable nodes, i.e., S x When = S 4 min <S 3 min , the spontaneous movement
(手順4)データDxを保持可能ノードまで移動し保持した際の「移動のための転送エネルギー(通信コスト)」と、ユーザ端末による「データ取得の転送エネルギー(通信コスト)」との和が最小となる最適ノードを選択する。
例えば、簡易的なモデルとして、転送エネルギーの大きさは、データサイズと通信ホップ数に比例する値として計算する。具体的には、図5に示す例において、データDxを保持可能ノードであるノードN3に移動する場合、移動のための転送エネルギーは、移動通信ホップ数が「1」であり、データDxのサイズをDSxとしたとき、C×DSx×1(Cは比例定数)となる。
(Procedure 4) The sum of the "transfer energy for movement (communication cost)" when the data D x is moved to the holdable node and held, and the "transfer energy for data acquisition (communication cost)" by the user terminal is Select the smallest optimal node.
For example, as a simple model, the magnitude of transfer energy is calculated as a value proportional to the data size and the number of communication hops. Specifically, in the example shown in FIG. 5, when the data D x is moved to the node N 3 which is a node capable of holding the data D x, the transfer energy for the movement is that the number of mobile communication hops is “1” and the data D When the size of x is DS x, it becomes C × DS x × 1 (C is a proportional constant).
ユーザ端末によるデータ取得の転送エネルギーは、データDxを移動しない(データDxをノードN4で保持する)場合との差分を計算する。
[ノードN2より先]
ノードN2から先のノードが収容するユーザ端末からは、今後、Sx×(A1 t+A2 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×(A1 t+A2 t)/Mの削減効果がある。
[ノードN3]
ノードN3が収容するユーザ端末からは、今後、Sx×A3 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×A3 t/Mの削減効果がある。
[ノードN4]
ノードN4が収容するユーザ端末からは、今後、Sx×A4 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A4 t/Mの増加効果がある。
[ノードN5]
ノードN5が収容するユーザ端末からは、今後、Sx×A5 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A5 t/Mの増加効果がある。
[ノードN6より先]
ノードN6から先のノードが収容するユーザ端末からは、今後、Sx×(A6 t+A7 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×(A6 t+A7 t)/Mの増加効果がある。
Transfer energy data acquisition by the user terminals computes the difference between the case where no moving data D x (holding data D x at the node N 4).
[Before node N 2 ]
From the user terminal accommodated by the node beyond node N 2 , access of S x × (A 1 t + A 2 t ) / M (times) is expected in the future, and data D x is moved to node N 3. in order to approach one hop, there is reduction of the C × DS x × 1 × ( a 1 t + a 2 t) / M.
[Node N 3 ]
From the user terminal accommodated by node N 3 , access of S x × A 3 t / M (times) is expected in the future, and by moving data D x to node N 3 , one hop approaches, so C × It has the effect of reducing DS x x 1 x A 3 t / M.
[Node N 4 ]
From the user terminal accommodated by the node N 4 , S x × A 4 t / M (times) is expected to be accessed in the future, and by moving the data D x to the node N 3 , the data D x is moved away by one hop. It has the effect of increasing DS x × 1 × A 4 t / M.
[Node N 5 ]
Access of S x × A 5 t / M (times) is expected from the user terminal accommodated by node N 5, and moving data D x to node N 3 moves the data D x away by one hop, so C × It has the effect of increasing DS x × 1 × A 5 t / M.
[Before node N 6 ]
From the user terminal accommodated by the node beyond node N 6 , access of S x × (A 6 t + A 7 t ) / M (times) is expected in the future, and data D x is moved to node N 3. in order away one hop, there is an increase effect of C × DS x × 1 × ( a 6 t + a 7 t) / M.
なお、自発移動先選択装置22は、(手順3)において、保持可能ノードとしてノードN3, N4が選択されている場合には、(手順4)においては、ノードN3, N4が対象となる。
そして、自発移動先選択装置22は、(手順4)において、移動のための転送エネルギーと、ユーザ端末によるデータ取得の転送エネルギーとの和を、各保持可能ノード(ここでは、ノードN3, N4)について求め、和が最小となるノードを最適ノード(自発移動先ノード)として選択する。
また、自発移動先選択装置22は、上記した(手順1)〜(手順4)のすべてを実行する場合だけでなく、これらの手順のうちのいずれか1つまたは組み合わせを実行するようにしてもよい。
自発移動先選択装置22は、選択した最適ノード(自発移動先ノード:例えば、ノードN3)の情報を、自発移動処理部130(自発移動実行部133)に送信する。
Incidentally, spontaneous migration
The spontaneous movement
Further, the spontaneous movement
Spontaneous migration
図4に戻り、自発移動実行部133は、自発移動条件判定装置21が自発移動対象データであると判定したデータ(ここでは、データDx)を、自発移動先選択装置22が選択した最適ノード(自発移動先ノード:例えば、ノードN3)に移動(自発移動)させる処理を実行する。
Returning to FIG. 4, the spontaneous movement execution unit 133 selects the data (here, data D x ) determined by the spontaneous movement
なお、アーカイブ指示装置23は、自ノードのホットストレージに記憶されたデータのうち有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、データ管理装置1に送信する。
そして、アーカイブ実行部134は、上記したように、処理対象であるデータの有効性評価値が、上記した移動可能ノードが保持するすべてのデータの中で最小値であると自発移動先選択装置22が判定した場合に、アーカイブ指示装置23からの指示情報を受け取って、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へ移動するアーカイブを、そのデータについて実行する。
The
Then, as described above, the
図3に戻り、データ蓄積部140は、データを生成(収集)するデバイス(Publisher)Pや他のデータ管理装置1等からネットワークを介して、データ(例えば、ライブデータ)を受信する。そして、データ蓄積部140は、データを受信すると、そのデータの容量を確認する。そして、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)の空き容量があり格納可能であれば、そのデータを有限容量蓄積部100に記憶する。
一方、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に空き容量がない場合には、状態情報を取得可能な隣接するいずれかのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に、当該データを格納できる空き容量があるか否かを、例えば、状態監視部110が取得した情報に基づき判定し、空き容量があれば、そのデータ管理装置1に当該データを転送する。
そして、データ蓄積部140は、状態情報が取得可能な全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がなければ、その旨の情報(受信したデータの情報)を強制移動対象データ選択装置31に送信する。
Returning to FIG. 3, the
On the other hand, when the
Then, if there is no free space in the finite capacity storage unit 100 (hot storage) of all the data management devices 1 from which the state information can be acquired, the
なお、データ蓄積部140は、他のデータ管理システム1000の上記した自発移動先選択装置22により、自身のデータ管理装置1が、最適ノード(自発移動先ノード)として選択され、自発移動処理部130による自発移動の結果、データを受信することもある。この場合、その自発移動されてきたデータについてのデータ蓄積部140の処理は、データ管理装置1それぞれにおいて状態情報が取得可能な隣接するデータ管理装置1が異なるため、上記のデータ蓄積部140による処理が自発移動後のデータ管理装置1において同様に行われる。
The
強制移動処理部150は、データ(例えば、ライブデータ)を受信し記憶部12に記憶しようとする際において、状態情報が取得可能な(自身を含む)全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がない場合に、強制移動するかアーカイブするかの処理を決定する。強制移動処理部150は、この決定について、強制移動対象データを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブした際の所定の損失(後記する「アーカイブ評価値」)と、強制移動対象データを、強制移動先ノードに強制移動させた際の損失(後記する「強制移動評価値」)とを比較して行う。
なお、強制移動対象データは、強制移動対象データ選択装置31が、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されたデータのうちの有用性評価値が最小のデータを強制移動対象データとして選択したデータである。また、強制移動先ノードは、強制移動先選択装置32が、有用性評価値が最小のデータを持つノード(データ管理装置1)を強制移動先ノードとして選択したノードである。
以下、強制移動処理部150の機能と、強制移動に関する装置群の詳細を、図6等を参照して説明する。
When the forced
As the forced movement target data, the forced movement target
Hereinafter, the function of the forced
図6は、本実施形態に係る強制移動処理部150の機能と、強制移動に関する装置群の詳細を説明するための図である。
図6に示すように、強制移動処理部150は、アーカイブ評価部151、強制移動評価部152、処理決定部153、アーカイブ実行部154および強制移動実行部155を含んで構成される。
FIG. 6 is a diagram for explaining the function of the forced
As shown in FIG. 6, the forced
ここで、時刻tにおいて、状態情報が取得可能な全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がないものとする。また、ノードNiの有用性評価値の最小のデータをデータDi minとする。そして、後記する図7に示すように、ノードN4が新規データDnewを受信したものとして説明する。 Here, it is assumed that there is no free space in the finite capacity storage unit 100 (hot storage) of all the data management devices 1 from which the state information can be acquired at time t. Further, the minimum data of the usefulness evaluation value of the node N i is defined as the data D i min . Then, as shown in FIG. 7 described later, it is assumed that the node N 4 has received the new data D new.
まず、強制移動対象データ選択装置31は、データ蓄積部140から、新規データDnewを受信した旨の情報を取得すると、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶するデータの中で、有用性評価値が最小のデータ(ここでは、データD4 min)を、強制移動対象データとして選択する。
有用性評価値が最小のデータ(ここでは、データD4 min)を、強制移動対象データとして選択するのは、有用性評価値が低いほど、今後のアクセス数が少なく、そのノード(データ管理装置1)から移動させても影響が少ないからである。
なお、強制移動対象データ選択装置31は、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶する各データについて、上記した自発移動処理部130内の有用性評価部131(図4)と同様に、今後(現時点から将来における)アクセス数の予測値が大きいものほど高い値となる評価値として有用性評価値を算出する。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
First, when the forced movement target
The data with the smallest usefulness evaluation value (here, data D 4 min ) is selected as the data to be forcibly moved. The lower the usefulness evaluation value, the smaller the number of future accesses, and the node (data management device). This is because there is little effect even if it is moved from 1).
The forced movement target
When the forced movement target
アーカイブ評価部151は、強制移動対象データ(ここでは、データD4 min)を他のノードに移動させずに、自身の無限容量蓄積部105(コールドストレージ)にアーカイブさせた場合のアーカイブ評価値を算出する。
このアーカイブ評価値は、アーカイブ後のリアルタイムにデータ取得ができない経済的損失の総量(所定の損失)を示す。ここで、アーカイブされたデータに対するアクセスがあったとき、リアルタイムにデータを取得できない補償として経済的損失CPが発生するものとする。
例えば、アーカイブ評価部151は、強制移動対象データ(データD4 min)をアーカイブする際の有用性評価値がS4 minであるとき、アーカイブ評価値をS4 min×CPとする(図7の符号a)。
The archive evaluation unit 151 sets the archive evaluation value when the data to be forcibly moved (here, data D 4 min ) is archived in its own infinite capacity storage unit 105 (cold storage) without being moved to another node. calculate.
This archive evaluation value indicates the total amount of economic loss (predetermined loss) for which data cannot be acquired in real time after archiving. Here, when there is an access to the archived data, it is assumed that an economic loss CP occurs as compensation for not being able to acquire the data in real time.
For example, the archive evaluation unit 151 sets the archive evaluation value as S 4 min × CP when the usefulness evaluation value when archiving the forced movement target data (data D 4 min ) is S 4 min (FIG. 7). Reference numeral a).
強制移動先選択装置32は、強制移動対象データについての移動可能ノードのうち、有用性評価値が最小のデータを保持するノードを、強制移動先ノードとして選択する。
なお移動可能ノードは、自発移動先選択装置22での説明と同様であり、そのノードが状態情報を取得可能なノード(候補ノード)のうち、当該候補ノードまでのリンク使用量と強制移動対象データ(データD4 min)のサイズに基づき、各リンクの上限使用量で当該データが移動不可となるリンクを使用するノードを除いたノードである。
ここで、ノードN4の強制移動対象データ(データD4 min)についての移動可能ノードがノードN3, N4, N5, N6であるとし、有用性評価値が最小のデータ(min(Si min|3≦i≦6)=S5 minとする。)を保持するノードN5が、強制移動先ノードとして選択される。
強制移動先選択装置32は、強制移動先ノードを選択すると、その強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
The forced movement
The movable node is the same as the description in the spontaneous movement
Here, the node forced movement target data N 4 (data D 4 min) movable node node N 3 for, N 4, N 5, and a N 6, usability evaluation value is minimum data (min ( Node N 5 holding S i min | 3 ≦ i ≦ 6) = S 5 min ) is selected as the forced movement destination node.
When the forced movement
強制移動評価部152は、「強制移動によるデータ転送エネルギー(通信コスト)」と、「強制移動先ノードでアーカイブされたデータのアーカイブ評価値」との和を、強制移動評価値として算出する。
具体的には、強制移動対象データ(データD4 min)のデータ移動で生じる転送エネルギーをTC(=C×DS4 min×1)とする(図7の符号b)。なお、Cは比例定数である。
また、ノードN5が強制移動対象データ(データD4 min)を受信時に容量溢れが生じ、データD5 minがアーカイブされるとし、そのアーカイブ評価値がS5 min×CPとなる(図7の符号c)。
これにより、強制移動評価部152は、TC+S5 min×CPを、強制移動評価値として算出する。
The forced
Specifically, the transfer energy generated by the data movement of the forced movement target data (data D 4 min ) is TC (= C × DS 4 min × 1) (reference numeral b in FIG. 7). C is a constant of proportionality.
Further, assuming that the capacity overflow occurs when the node N 5 receives the data to be forcibly moved (data D 4 min ) and the data D 5 min is archived, the archive evaluation value is S 5 min × CP (FIG. 7). Reference numeral c).
As a result, the forced
図6に戻り、処理決定部153は、新規データDnewを受信したノードのアーカイブ評価値と、強制移動評価値とを比較し、小さい方を処理の実行対象として選択する。
例えば、処理決定部153は、S4 min×CP < TC+S5 min×CPであれば、データD4 minを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブすると決定する。
一方、処理決定部153は、S4 min×CP > TC+S5 min×CPであれば、データD4 minを、強制移動先ノード(ノードN5)に強制移動すると決定する。
Returning to FIG. 6, the
For example, if S 4 min × CP <TC + S 5 min × CP, the
On the other hand, if S 4 min × CP> TC + S 5 min × CP, the
アーカイブ実行部154は、処理決定部153が、アーカイブを実行すると決定した場合に、新規データDnewを受信したノード(ノードN4)の有用性評価値が最小のデータ(データD4 min)を、有限容量蓄積部100(ホットストレージ)から無限容量蓄積部105(コールドストレージ)に移動するアーカイブを実行する。
When the
強制移動実行部155は、処理決定部153が、強制移動すると決定した場合に、新規データDnewを受信したノード(ノードN4)の有用性評価値が最小のデータである強制移動対象データ(データD4 min)を、強制移動先ノード(ノードN5)に移動(強制移動)する。
When the
図3に戻り、生成間隔調整装置40は、リアルタイム要求度が高いデバイス(Publisher)については、そのデバイスの最新データのAoIを小さく保つために、データ生成間隔を短くするように調整する。また、生成間隔調整装置40は、リアルタイム要求度が低いデバイスについては、ネットワーク負荷を小さくするため、そのデバイスのデータ生成間隔を長くするように調整する。
Returning to FIG. 3, the generation
ここで、データ管理装置1の状態監視部110は、各データに関し、データ生成後の所定時間内におけるそのデータへのアクセス数の情報を取得し記憶部12に記憶している。そして、生成間隔調整装置40は、記憶部12に記憶されたこのアクセス数の情報を参照し、各データに関し、所定時間内のアクセス数に比例する値をリアルタイム要求度として算出する。
生成間隔調整装置40は、リアルタイム要求度に応じて、データを生成するデバイスについて、データ生成間隔を長短(調整)する指示情報を生成する。そして、生成間隔調整装置40は、そのデータを生成するデバイスに対して、生成した指示情報を送信することにより、データ生成間隔をデバイス単位で調整する。
Here, the
The generation
この生成間隔調整装置40による、データ生成間隔の調整処理は、例えば、データ管理装置1が、有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶された、あるデータに対するユーザ端末からの取得要求を受信した際に行うようにしてもよい。また、生成間隔調整装置40は、有限容量蓄積部100(ホットストレージ)および無限容量蓄積部105(コールドストレージ)に記憶された各データを生成するデバイスについて、所定の時間間隔で、データ生成間隔の調整を行うようにしてもよい。
In the data generation interval adjustment process by the generation
<本実施形態の構成についての変形例>
以上説明した本実施形態に係るデータ管理システム1000では、図3に示すように、データ管理装置1が、制御部10内に自発移動処理部130と強制移動処理部150との両方を備えるとともに、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)および強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)を備えるものとして説明した。
しかしながら、本発明の実施形態は図3に示すデータ管理システム1000に限定されない。例えば、図8のデータ管理システム1000Aで示すように、図3で示した強制移動に関連する機能(強制移動処理部150および強制移動に関する装置群)を備えない構成にしてもよい。データ管理システム1000Aのデータ管理装置1Aは、有限容量蓄積部100(ホットストレージ)、無限容量蓄積部105(コールドストレージ)、自発移動処理部130、自発移動に関する装置群等を備えることにより、自身の有限容量蓄積部100(ホットストレージ)の記憶容量が不足する場合であっても、データ削除せずに記憶しておくことができる。さらに、自発移動処理部130が、有用性評価値およびアクセス偏在性に基づく所定の自発移動条件を満たすデータ(自発移動対象データ)を、最適ノードに移動しておくことができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、より転送エネルギーの少ない最適なノード(データ管理装置1A)の有限容量蓄積部100(ホットストレージ)に記憶させておくことができる。
<Modified example of the configuration of this embodiment>
In the
However, the embodiment of the present invention is not limited to the
また、図9のデータ管理システム1000Bで示すように、図3で示した自発移動に関連する機能(自発移動処理部130および自発移動に関する装置群)を備えない構成にしてもよい。データ管理システム1000Bのデータ管理装置1Bは、有限容量蓄積部100(ホットストレージ)、無限容量蓄積部105(コールドストレージ)、強制移動処理部150、強制移動に関する装置群等を備えることにより、新たなデータを記憶しようとする際に、自身の有限容量蓄積部100(ホットストレージ)の記憶容量が不足する場合であっても、データ削除せずに記憶しておくことができる。さらに、強制移動処理部150が、各データ管理装置1Bの有限容量蓄積部100(ホットストレージ)に空き容量がない場合であっても、データ管理装置1Bの有限容量蓄積部100(ホットストレージ)に記憶されたデータのうち、有用性評価値が最小のデータ(強制移動対象データ)を、他のデータ管理装置1Bに強制移動させ、新たなデータを自身の有限容量蓄積部100(ホットストレージ)に記憶することができる。
Further, as shown in the
また、本実施形態に係るデータ管理システム1000(図3),1000A(図8),1000B(図9)において、生成間隔調整装置40を備えない構成にすることもできる。
Further, the data management systems 1000 (FIG. 3), 1000A (FIG. 8), and 1000B (FIG. 9) according to the present embodiment may be configured not to include the generation
<データ管理装置の処理>
次にデータ管理システム1000(図3参照)が実行する処理について説明する。ここでは、自発移動、強制移動、生成間隔調整に関する各処理内容について具体的に説明する。
なお、図8で示すデータ管理システム1000A、および、図9で示すデータ管理システム1000Bにおいても同様の処理を行う。
<Processing of data management device>
Next, the processing executed by the data management system 1000 (see FIG. 3) will be described. Here, each processing content related to spontaneous movement, forced movement, and generation interval adjustment will be specifically described.
The same processing is performed in the
≪自発移動によるデータ配置制御≫
まず、データ管理システム1000の自発移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、データ毎のアクセス元およびその処理回数(アクセス数)の情報や、各リンク使用量等の状態情報を予め取得しているものとする。
また、自発移動処理部130(および自発移動に関する装置群)は、例えば、取得要求処理部120が、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されているデータを送信したことを契機として、そのデータについて、以下に示す自発移動によるデータ配置制御を実行してもよい。また、自発移動処理部130は、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されている各データについて、所定の時間間隔で、以下に示す自発移動によるデータ配置処理を実行してもよい。その際、自発移動処理部130は、例えばアクセス数の多いデータから順に、自発移動によるデータ配置処理を実行するようにしてもよい。
≪Data arrangement control by spontaneous movement≫
First, data arrangement control by spontaneous movement of the
Here, the status monitoring unit 110 (FIG. 3) of the data management device 1 determines the access source for each data and the number of processes (access count) for each data from another adjacent data management device 1 capable of acquiring the status information. It is assumed that information and status information such as the usage amount of each link have been acquired in advance.
Further, in the spontaneous movement processing unit 130 (and the device group related to the spontaneous movement), for example, the acquisition request processing unit 120 receives a data acquisition request (request), and the finite capacity storage unit 100 (hot storage) in the
図10は、本実施形態に係るデータ管理システム1000の自発移動によるデータ配置制御の流れを示すフローチャートである。
まず、データ管理装置1(自発移動処理部130)の有用性評価部131(図4参照)は、対象となるデータ(対象データ)の今後のアクセス数の予測に基づく有用性評価値を算出する(ステップS10)。
そして、有用性評価部131は、算出した有用性評価値を、自発移動条件判定装置21に送信する。
FIG. 10 is a flowchart showing a flow of data arrangement control by spontaneous movement of the
First, the usefulness evaluation unit 131 (see FIG. 4) of the data management device 1 (spontaneous movement processing unit 130) calculates a usefulness evaluation value based on the prediction of the future access number of the target data (target data). (Step S10).
Then, the
次に、自発移動処理部130のアクセス偏在性算出部132は、アクセス元の隣接ノードに関する偏りを示すアクセス偏在性を算出する(ステップS11)。
アクセス偏在性算出部132は、算出したアクセス偏在性の情報を、自発移動条件判定装置21に送信する。
Next, the access uneven
The access uneven
続いて、自発移動条件判定装置21は、その対象データが、有用性評価値およびアクセス偏在性に関する所定の自発移動条件を満たすか否かを判定する(ステップS12)。
所定の自発移動条件は、例えば、有用性評価値が所定の閾値(所定の第1閾値)以上であり、かつ、アクセス偏在性が所定の確率(所定の第2閾値)以上であること、という条件である。
ここで、所定の自発移動条件を満たさなかった場合は(ステップS12→No)、処理を終了する。一方、所定の自発移動条件を満たす場合には(ステップS12→Yes)、自発移動条件判定装置21が、そのデータを、自発移動の対象となるデータ(自発移動対象データ)であるとし、自発移動先選択装置22にその情報を送信し、次のステップS13に進む。
Subsequently, the spontaneous movement
The predetermined spontaneous movement condition is, for example, that the usefulness evaluation value is equal to or higher than a predetermined threshold value (predetermined first threshold value) and the access uneven distribution is equal to or higher than a predetermined probability (predetermined second threshold value). It is a condition.
Here, if the predetermined spontaneous movement condition is not satisfied (step S12 → No), the process ends. On the other hand, when a predetermined spontaneous movement condition is satisfied (step S12 → Yes), the spontaneous movement
ステップS13において、自発移動先選択装置22は、自発移動対象データの移動先となる最適ノード(自発移動先ノード)を選択する。この最適ノード選択処理の詳細は、後記する(図11参照)。そして、自発移動先選択装置22は、選択した最適ノード(自発移動先ノード)の情報を、自発移動処理部130(自発移動実行部133)に送信する。
In step S13, the spontaneous movement
次に、自発移動実行部135は、自発移動対象データを、ステップS13において選択した最適ノード(自発移動先ノード)となるデータ管理装置1に移動(自発移動)させる処理を実行する(ステップS14)。 Next, the spontaneous movement execution unit 135 executes a process of moving (spontaneous movement) the data to be spontaneously moved to the data management device 1 which is the optimum node (spontaneous movement destination node) selected in step S13 (step S14). ..
このようにすることで、データ管理システム1000のデータ管理装置1(自発移動処理部130)は、有用性評価値およびアクセス偏在性に基づく所定の自発移動条件を満たすデータ(自発移動対象データ)を、最適ノードに移動しておくことができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、より転送エネルギーの少ない最適なノード(データ管理装置1)の有限容量蓄積部100(ホットストレージ)に記憶させておくことができる。
By doing so, the data management device 1 (spontaneous movement processing unit 130) of the
〔最適ノード選択処理〕
図11は、本実施形態に係るデータ管理システム1000の最適ノード選択処理の流れを示すフローチャートである。
この最適ノード選択処理は、図10で示す自発移動によるデータ配置制御におけるステップS13において、自発移動先選択装置22が実行する処理である。
[Optimal node selection process]
FIG. 11 is a flowchart showing the flow of the optimum node selection process of the
This optimum node selection process is a process executed by the spontaneous movement
まず、自発移動先選択装置22(図3)は、自発移動対象データを記憶するノード(自身と接続されるデータ管理装置1)における、状態情報を取得可能なノード(候補ノード)を特定する。そして、自発移動先選択装置22は、アクセス偏在性が高い方向以外にあるノードを除く(ステップS131:手順1)。
First, the spontaneous movement destination selection device 22 (FIG. 3) identifies a node (candidate node) from which the state information can be acquired in the node (data management device 1 connected to itself) that stores the spontaneous movement target data. Then, the spontaneous movement
次に、自発移動先選択装置22は、候補ノードまでのリンク使用状況に基づき、移動可能ノードを選択する(ステップS132:手順2)。
Next, the spontaneous movement
続いて、自発移動先選択装置22は、移動可能ノードそれぞれが保持するデータの有用性評価値の最小値を、データ管理装置1の記憶部12を参照して確認する。そして、自発移動先選択装置22は、その確認した有用性評価値が、自発移動対象データの有用性評価値よりも小さい場合に、その確認した有用性評価値のデータを保持する移動可能ノードを、保持可能ノードとして選択する(ステップS133:手順3)。
Subsequently, the spontaneous movement
そして、自発移動先選択装置22は、自発移動対象データを、保持可能ノードまで移動し保持させた際の「移動のための転送エネルギー(通信コスト)」と、ユーザ端末による「データ取得の転送エネルギー(通信コスト)」との和が最小となるノードを、保持可能ノードの中から最適ノードとして選択する(ステップS134:手順4)。
このようにして、自発移動先選択装置22は、自発移動対象データに関する最適ノードを選択することができる。
Then, the spontaneous movement
In this way, the spontaneous movement
≪強制移動によるデータ配置制御≫
次に、データ管理システム1000の強制移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、各データ管理装置1間のリンクの使用状況(リンク使用量)、各データ管理装置1の有限容量蓄積部100(ホットストレージ)の空き容量や有用性評価値が最小のデータ等の情報(状態情報)を取得しているものとする。
また、状態情報を取得可能な全てのデータ管理装置1の有限容量蓄積部(ホットストレージ)に空き容量がないものとする。
この強制移動処理部150および強制移動に関する装置群は、データ蓄積部140が新たなデータを受信したことを契機として処理を開始する。
≪Data placement control by forced displacement≫
Next, data arrangement control by forced movement of the
Here, the status monitoring unit 110 (FIG. 3) of the data management device 1 is using the link between each data management device 1 from another adjacent data management device 1 capable of acquiring the status information (link use). Amount), it is assumed that information (state information) such as free capacity of the finite capacity storage unit 100 (hot storage) of each data management device 1 and data having the minimum usefulness evaluation value is acquired.
Further, it is assumed that there is no free space in the finite capacity storage unit (hot storage) of all the data management devices 1 capable of acquiring the state information.
The forced
図12は、本実施形態に係るデータ管理システム1000の強制移動によるデータ配置制御の流れを示すフローチャートである。
まず、データ管理装置1のデータ蓄積部140は、新たなデータを受信すると、そのデータの容量を確認する。そして、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に、新たなデータを格納できるだけの空き容量があるか否かを判定する(ステップS20)。
そして、データ蓄積部140は、空き容量があれば(ステップS20→Yes)、その新たなデータを、有限容量蓄積部100(ホットストレージ)に記憶する(ステップS21)。一方、空き容量がなければ(ステップS20→No)、データ蓄積部140は、その新たなデータの情報を、強制移動対象データ選択装置31に送信し、次のステップS22に進む。
FIG. 12 is a flowchart showing a flow of data arrangement control by forced movement of the
First, when the
Then, if there is free space (step S20 → Yes), the
ステップS22において、強制移動対象データ選択装置31は、自身と接続されるデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶する各データについて、有用性評価値を算出し、有用性評価値が最小のデータを、強制移動対象データとして選択する。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
In step S22, the forced movement target
When the forced movement target
次に、アーカイブ評価部151は、強制移動対象データを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブさせた場合のアーカイブ評価値を算出する(ステップS23)。 Next, the archive evaluation unit 151 calculates an archive evaluation value when the forced movement target data is archived in its own infinite capacity storage unit 105 (cold storage) (step S23).
続いて、強制移動先選択装置32は、強制移動対象データについての移動可能ノードのうち、有用性評価値が最小のデータを保持するノードを、強制移動先ノードとして選択する(ステップS24)。
強制移動先選択装置32は、選択した強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
Subsequently, the forced movement
The forced movement
そして、強制移動評価部152は、強制移動対象データを強制移動先ノードに移動した場合の「強制移動によるデータ転送エネルギー(通信コスト)」と、強制移動先ノードに記憶される有用性評価値が最小のデータがアーカイブされた場合のアーカイブ評価値(「強制移動先ノードでアーカイブされたデータのアーカイブ評価値」)との和を、強制移動評価値として算出する(ステップS25)。
Then, the forced
次に、処理決定部153は、ステップS23で算出した、新たなデータを受信したノードのアーカイブ評価値と、ステップS25で算出した強制移動評価値とを比較し、小さい方を処理の実行対象として決定する(ステップS26)。
ここで、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値の方が、強制移動評価値より小さければ、アーカイブ処理を実行すると決定する。一方、処理決定部153は、強制移動評価値の方が、新たなデータを受信したノードのアーカイブ評価値より小さければ、強制移動を実行すると決定する。
なお、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値と、強制移動評価値とが同じであれば、予め決めておいた方の処理を実行してもよいし、ランダムにどちらかの処理を決定してもよい。
Next, the
Here, the
If the archive evaluation value of the node that has received the new data and the forced movement evaluation value are the same, the
次に、ステップS26において処理決定部153がアーカイブ処理を実行すると決定した場合には、アーカイブ実行部154が、新たなデータを受信したノードの有用性評価値が最小のデータ(強制移動対象データ)を、有限容量蓄積部100(ホットストレージ)から無限容量蓄積部105(コールドストレージ)に移動するアーカイブを実行する(ステップS27)。そして、ステップS20に戻る。
Next, when the
一方、ステップS26において処理決定部153が強制移動を実行すると決定した場合には、強制移動実行部155が、新たなデータを受信したノードの有用性評価値が最小のデータ(強制移動対象データ)を、強制移動先ノードに移動(強制移動)する(ステップS28)。そして、ステップS20に戻る。
On the other hand, when the
このようにすることで、データ管理システム1000のデータ管理装置1(強制移動処理部150)は、各データ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がない場合であっても、各データ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されたデータのうち、有用性評価値が最小のデータ(強制移動対象データ)を、他のデータ管理装置1に強制移動させ、新たなデータを自身の有限容量蓄積部100(ホットストレージ)に記憶することができる。
By doing so, the data management device 1 (forced movement processing unit 150) of the
≪リアルタイム要求に応じたデータ生成間隔調整≫
次に、データ管理システム1000の生成間隔調整装置40(図3)によるリアルタイム要求に応じたデータ生成間隔調整について説明する。
なお、ここで、記憶部12には、各データに対するアクセス数の情報が、状態監視部110を介して記憶されているものとする。
≪Adjustment of data generation interval according to real-time request≫
Next, the data generation interval adjustment according to the real-time request by the generation interval adjusting device 40 (FIG. 3) of the
Here, it is assumed that the
図13は、本実施形態に係るデータ管理システム1000のデータ生成間隔調整の流れを示すフローチャートである。
まず、データ管理装置1の取得要求処理部120が、自身のデータ管理装置1が収容するユーザ端末(図示省略)や他のデータ管理装置1から、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶されているデータを、応答情報として返信する(ステップS30)。
FIG. 13 is a flowchart showing a flow of adjusting the data generation interval of the
First, the acquisition request processing unit 120 of the data management device 1 receives and stores a data acquisition request (request) from the user terminal (not shown) or another data management device 1 housed in the data management device 1. The data stored in the finite capacity storage unit 100 (hot storage) or the infinite capacity storage unit 105 (cold storage) in the
次に、生成間隔調整装置40は、取得要求を受けたデータについて、所定時間内のアクセス数に比例する値をリアルタイム要求度として算出する(ステップS31)。
なお、生成間隔調整装置40は、データ管理装置1の取得要求処理部120を監視し、取得要求を受けたデータの情報を得てもよいし、取得要求処理部120がデータを返信した旨の情報を生成間隔調整装置40に送信するように設定しておくことにより、そのデータに関する情報を取得してもよい。
続いて、生成間隔調整装置40は、リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、そのデータを生成したデバイス(Publisher)に送信する(ステップS32)。
Next, the generation
The generation
Subsequently, the generation
このようにすることで、データ管理システム1000の生成間隔調整装置40は、リアルタイム要求度が高いデバイスの最新データは、AoIをより小さく、つまり、データ生成間隔を短くするように調整できる。一方、生成間隔調整装置40は、リアルタイム要求度の低いデバイスの最新データは、AoIをより大きく、つまり、データ生成間隔を長くするように調整できる。よって、そのデータに関する移動のためのネットワーク負荷を低減することが可能となる。
By doing so, the generation
<ハードウェア構成>
本実施形態に係るデータ管理装置1(1A,1B)や各装置(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40)は、例えば図14に示すような構成のコンピュータ900によって実現される。
図14は、本実施形態に係るデータ管理装置1(1A,1B)および各装置の機能を実現するコンピュータ900の一例を示すハードウェア構成図である。コンピュータ900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM903、HDD(Hard Disk Drive)904、入出力I/F(Interface)905、通信I/F906およびメディアI/F907を有する。
<Hardware configuration>
Data management device 1 (1A, 1B) and each device (spontaneous movement
FIG. 14 is a hardware configuration diagram showing an example of the data management devices 1 (1A, 1B) according to the present embodiment and the
CPU901は、ROM902またはHDD904に記憶されたプログラムに基づき作動し、制御部10(図3,図8,図9等)による制御を行う。ROM902は、コンピュータ900の起動時にCPU901により実行されるブートプログラムや、コンピュータ900のハードウェアに係るプログラム等を記憶する。
The
CPU901は、入出力I/F905を介して、マウスやキーボード等の入力装置910、および、ディスプレイやプリンタ等の出力装置911を制御する。CPU901は、入出力I/F905を介して、入力装置910からデータを取得するともに、生成したデータを出力装置911へ出力する。なお、プロセッサとしてCPU901とともに、GPU(Graphics Processing Unit)等を用いても良い。
The
HDD904は、CPU901により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信I/F906は、通信網(例えば、NW(Network)920)を介して他の装置からデータを受信してCPU901へ出力し、また、CPU901が生成したデータを、通信網を介して他の装置へ送信する。
The
メディアI/F907(データ読み取り/書き込みモジュール)は、記録媒体912に格納されたプログラムまたはデータを読み取り、RAM903を介してCPU901へ出力する。CPU901は、目的の処理に係るプログラムを、メディアI/F907を介して記録媒体912からRAM903上にロードし、ロードしたプログラムを実行する。記録媒体912は、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto Optical disk)等の光磁気記録媒体、磁気記録媒体、半導体メモリ等である。
The media I / F907 (data read / write module) reads the program or data stored in the
例えば、コンピュータ900が本発明のデータ管理装置1(1A,1B)や上記各装置として機能する場合、コンピュータ900のCPU901は、RAM903上にロードされたプログラムを実行することにより、データ管理装置1(1A,1B)や各装置の機能を実現する。また、HDD904には、RAM903内のデータが記憶される。CPU901は、目的の処理に係るプログラムを記録媒体912から読み取って実行する。この他、CPU901は、他の装置から通信網(NW920)を介して目的の処理に係るプログラムを読み込んでもよい。
For example, when the
<効果>
以下、本発明に係るデータ管理システム1000(1000A)等の効果について説明する。
本発明に係るデータ管理システムは、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23を備えており、自発移動条件判定装置21は、ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、自発移動先選択装置22は、データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、アーカイブ指示装置23は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、データ管理装置1に送信し、データ管理装置1は、自発移動対象データを自発移動先ノードに移動し、指示情報を受け取ると、自ノードのホットストレージに記憶された有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。
<Effect>
Hereinafter, the effects of the data management system 1000 (1000A) and the like according to the present invention will be described.
The data management system according to the present invention is a data management system 1000 (1000A) including a data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices, and data management. The
このように、データ管理システム1000(1000A)は、データ管理装置1(1A)の記憶部12にホットストレージとともに、コールドストレージを備えることにより、ホットストレージに空き容量がない場合には、コールドストレージにデータを移動し記憶しておくことができる。
また、自発移動条件判定装置21は、アクセスに関する所定の自発移動条件を満たすデータを自発移動対象データとして選択する。自発移動先選択装置22は、ユーザ端末の通信コストが削減される位置にある自発移動先ノードを選択する。そして、データ管理装置1が、自発移動対象データを自発移動先ノードに移動させることができる。
よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、ユーザ端末からの通信コストが少ないノードに移動させておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理システム1000(1000A)によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
As described above, the data management system 1000 (1000A) is provided with the cold storage together with the hot storage in the
Further, the spontaneous movement
Therefore, useful data that is likely to be accessed from the user terminal can be moved to a node that has a low communication cost from the user terminal.
Further, the data management device 1 can receive the instruction information from the
また、データ管理システム1000(1000A)において、ホットストレージに記憶されたデータの所定時間内のアクセス数に比例する値をリアルタイム要求度として算出し、リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、当該データを生成するデバイスに、指示情報を出力する生成間隔調整装置40を、さらに備えることを特徴とする。
Further, in the data management system 1000 (1000A), a value proportional to the number of accesses of the data stored in the hot storage within a predetermined time is calculated as a real-time requirement, and the higher the real-time requirement, the shorter the data generation interval is adjusted. The device for generating the instruction information to be generated and generating the data is further provided with a generation
このようにすることで、データ管理システム1000(1000A)の生成間隔調整装置40は、リアルタイム要求度の高いデバイスのデータ生成間隔を短くすることにより、AoIを低減することができる。また、生成間隔調整装置40は、リアルタイム要求度の低いデバイスのデータ生成間隔を長くすることにより、データを移動させる際のネットワーク負荷を低減することができる。
By doing so, the generation
また、データ管理装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)のデータ管理装置1(1A)であって、データ管理システム1000は、データ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23を備えており、データ管理装置1は、データを記憶するためのホットストレージおよびコールドストレージを有し、ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと自発移動条件判定装置21により判定されたデータである自発移動対象データを、データにアクセスする際のユーザ端末の通信コストが削減される位置にあり、自発移動対象データを保持するノードからの移動先のノードとして自発移動先選択装置22により選択された、自ノード以外の他ノードである自発移動先ノードに移動し、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報をアーカイブ指示装置23から受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。
Further, the data management device is a data management device 1 (1A) of a data management system 1000 (1000A) including a data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. The
このように、データ管理装置1(1A)は、自発移動条件判定装置21が判定した自発移動対象データを、自発移動先選択装置22が選択した自発移動先ノードに移動することができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、ユーザ端末からの通信コストが少ないノードに移動させておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理装置1(1A)は、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
In this way, the data management device 1 (1A) can move the spontaneous movement target data determined by the spontaneous movement
Further, the data management device 1 can receive the instruction information from the
また、自発移動条件判定装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)の自発移動条件判定装置21であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1および自発移動条件判定装置21を備えており、自発移動条件判定装置21は、ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定することを特徴とする。
Further, the spontaneous movement condition determination device is a spontaneous movement condition determination device of the data management system 1000 (1000A) including the data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. The
このように、自発移動条件判定装置21は、アクセスに関する所定の自発移動条件を満たすデータを自発移動の対象となるデータを示す自発移動対象データと判定することができる。
自発移動条件判定装置21が判定するアクセスに関する所定の自発移動条件は、例えば、有用性評価値とアクセス偏在性の両方が所定の閾値よりも高い場合に、そのデータを自発移動対象データと判定することである。このような、アクセスに関する所定の自発移動条件によれば、将来アクセスされる可能性が高くて、そのデータを保持するノードが、取得要求を受け付けるノードを示す需要地点ノードである確率の低い場合に、自発移動対象データと判定されるため、ユーザ端末の通信コストの削減効果の高いデータを選択して移動させることができる。
In this way, the spontaneous movement
The predetermined spontaneous movement condition regarding the access determined by the spontaneous movement
また、自発移動先選択装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)の自発移動先選択装置22であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21および自発移動先選択装置22を備えており、自発移動先選択装置22は、ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと自発移動条件判定装置21により判定されたデータである自発移動対象データについて、当該データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択することを特徴とする。
Further, the spontaneous movement destination selection device is a spontaneous movement destination selection device of the data management system 1000 (1000A) including the data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. 22; the
このように、自発移動先選択装置22は、ユーザ端末の通信コストが削減される位置にある他ノードを、自発移動先ノードとして選択することができる。よって、自発移動先選択装置22は、自発移動対象データを移動させた場合に、ユーザ端末からの通信コストを削減させることができる。
In this way, the spontaneous movement
また、アーカイブ指示装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)のアーカイブ指示装置23であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1およびアーカイブ指示装置23を備えており、アーカイブ指示装置23は、データ管理装置1のホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、当該データ管理装置1のコールドストレージに移動させる指示情報を、データ管理装置1に送信することを特徴とする。
Further, the archive instruction device is an
このように、アーカイブ指示装置23は、指示情報をデータ管理装置1に送信することにより、ホットストレージに記憶された有用性評価値が最小のデータを、コールドストレージに移動させることができる。よって、アーカイブ指示装置23は、ユーザ端末から将来アクセスされる可能性の低い、つまり、有用性の低いデータを、コールドストレージに移動させることができる。
In this way, the
なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。
例えば、図15のデータ管理装置1Cで示すように、図3で示したデータ管理システム1000における、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)、強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)、および、生成間隔調整装置40の各機能を、データ管理装置1Cとして組み込み、1つの筐体の装置としてもよい。この場合、自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23の各機能を、自発移動処理部130Cとして組み込む。強制移動対象データ選択装置31、強制移動先選択装置32の各機能を、強制移動処理部150Cとして組み込む。また、生成間隔調整装置40の機能を制御部10内に生成間隔調整部160として組み込む。
このようにしても、本実施形態に係るデータ管理システム1000と同様の作用効果を奏することができる。さらに、図15に示すデータ管理装置1Cにおいて、自発移動処理部130C、強制移動処理部150C、生成間隔調整部160のいずれかを備えない構成にすることもできる。
The present invention is not limited to the embodiments described above, and many modifications can be made by a person having ordinary knowledge in the art within the technical idea of the present invention.
For example, as shown in the
Even in this way, the same effects as those of the
1,1A,1B データ管理装置
10 制御部
11 入出力部
12 記憶部(記憶手段)
21 自発移動条件判定装置
22 自発移動先選択装置
23 アーカイブ指示装置
31 強制移動対象データ選択装置
32 強制移動先選択装置
40 生成間隔調整装置
100 有限容量蓄積部(ホットストレージ)
105 無限容量蓄積部(コールドストレージ)
110 状態監視部
120 取得要求処理部
130 自発移動処理部
131 有用性評価部
132 アクセス偏在性算出部
133 自発移動実行部
134 アーカイブ実行部
140 データ蓄積部
150 強制移動処理部
151 アーカイブ評価部
152 強制移動評価部
153 処理決定部
154 アーカイブ実行部
155 強制移動実行部
1000,1000A,1000B データ管理システム
1,1A, 1B
21 Spontaneous movement
105 Infinite capacity storage unit (cold storage)
110 Condition monitoring unit 120 Acquisition
Claims (11)
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理システム。 A data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and a spontaneous movement destination selection device connected by using the data management device as its own node. Equipped with an archive instruction device
When the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the spontaneous movement condition determination device determines the data as the spontaneous movement target data.
The spontaneous movement destination selection device sets a node other than the own node at a position where the communication cost of the user terminal when accessing the data is reduced as a movement destination from the node holding the spontaneous movement target data. Select as the spontaneous destination node that indicates the node that becomes
Among the data stored in the hot storage of the own node, the archive instruction device moves the data having the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, to the cold storage of the own node. The instruction information is transmitted to the data management device, and the instruction information is transmitted.
The data management device is
The voluntary movement target data is moved to the spontaneous movement destination node, and the data is moved to the spontaneous movement destination node.
A data management system characterized in that when the instruction information is received, the data having the minimum usefulness evaluation value stored in the hot storage of the own node is moved to the cold storage of the own node.
を特徴とする請求項1に記載のデータ管理システム。 A value proportional to the number of accesses of the data stored in the hot storage within a predetermined time is calculated as a real-time requirement, and the higher the real-time requirement, the shorter the data generation interval is to generate instruction information, and the data is The data management system according to claim 1, further comprising a generation interval adjusting device for outputting the instruction information in the device for generating the data.
前記データ管理システムは、前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記データ管理装置は、
データを記憶するためのホットストレージおよびコールドストレージを有し、
前記ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データを、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にあり、前記自発移動対象データを保持するノードからの移動先のノードとして前記自発移動先選択装置により選択された、自ノード以外の他ノードである自発移動先ノードに移動し、
自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を前記アーカイブ指示装置から受け取り、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理装置。 A data management device of a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and an archive instruction device connected by using the data management device as a local node.
The data management device is
Has hot storage and cold storage to store data,
When accessing the data stored in the hot storage, the data to be spontaneously moved, which is the data determined by the spontaneous movement condition determination device when the predetermined spontaneous movement condition for accessing the data is satisfied. It is in a position where the communication cost of the user terminal is reduced, and is a node other than the own node, which is selected by the spontaneous movement destination selection device as the destination node from the node holding the spontaneous movement target data. Go to the destination node and
Of the data stored in the hot storage of the own node, the data with the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, is the archive instruction for moving the instruction information to move to the cold storage of the own node. A data management device characterized in that the data received from the device and stored in the hot storage of the own node and stored in the hot storage of the own node is moved to the cold storage of the own node.
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置および自発移動条件判定装置を備えており、
前記自発移動条件判定装置は、
前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定すること
を特徴とする自発移動条件判定装置。 A device for determining spontaneous movement conditions of a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device and the spontaneous movement condition determination device having hot storage and cold storage for storing data.
The spontaneous movement condition determination device is
A spontaneous movement condition determination device, characterized in that, when the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the data is determined to be spontaneous movement target data.
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置および自発移動先選択装置を備えており、
前記自発移動先選択装置は、
前記ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データについて、当該データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択すること
を特徴とする自発移動先選択装置。 A voluntary movement destination selection device for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, and a spontaneous movement condition determination device and a spontaneous movement destination selection device connected with the data management device as its own node. I have
The spontaneous movement destination selection device is
When accessing the data stored in the hot storage, the data to be spontaneously moved, which is the data determined by the spontaneous movement condition determination device when the predetermined spontaneous movement condition for accessing the data is satisfied. The feature is that a node other than the own node, which is in a position where the communication cost of the user terminal is reduced, is selected as the spontaneous movement destination node indicating the node to be moved from the node holding the spontaneous movement target data. Spontaneous movement destination selection device.
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置および前記アーカイブ指示装置を備えており、
前記アーカイブ指示装置は、
前記データ管理装置のホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、当該データ管理装置のコールドストレージに移動させる指示情報を、前記データ管理装置に送信すること
を特徴とするアーカイブ指示装置。 An archive instruction device for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device and the archive instruction device having hot storage and cold storage for storing data.
The archive instruction device is
Of the data stored in the hot storage of the data management device, the instruction information for moving the data having the smallest usefulness evaluation value, which indicates a higher value as the prediction of the number of future accesses is larger, to the cold storage of the data management device. Is transmitted to the data management device.
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理方法。 A data management method for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and a spontaneous movement destination selection device connected by using the data management device as its own node. Equipped with an archive instruction device
When the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the spontaneous movement condition determination device determines the data as the spontaneous movement target data.
The spontaneous movement destination selection device sets a node other than the own node at a position where the communication cost of the user terminal when accessing the data is reduced as a movement destination from the node holding the spontaneous movement target data. Select as the spontaneous destination node that indicates the node that becomes
Among the data stored in the hot storage of the own node, the archive instruction device moves the data having the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, to the cold storage of the own node. The instruction information is transmitted to the data management device, and the instruction information is transmitted.
The data management device is
The voluntary movement target data is moved to the spontaneous movement destination node, and the data is moved to the spontaneous movement destination node.
A data management method characterized in that when the instruction information is received, the data having the minimum usefulness evaluation value stored in the hot storage of the own node is moved to the cold storage of the own node.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013204A JP7376894B2 (en) | 2020-01-30 | 2020-01-30 | Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013204A JP7376894B2 (en) | 2020-01-30 | 2020-01-30 | Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021119437A true JP2021119437A (en) | 2021-08-12 |
JP7376894B2 JP7376894B2 (en) | 2023-11-09 |
Family
ID=77195479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020013204A Active JP7376894B2 (en) | 2020-01-30 | 2020-01-30 | Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7376894B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207370A (en) * | 1999-01-20 | 2000-07-28 | Matsushita Electric Ind Co Ltd | Distributed file management device and distributed file management system |
JP2003271316A (en) * | 2002-03-14 | 2003-09-26 | Hitachi Ltd | Storage system, its operation program and its operating method, information processing terminal and its operation program and data managing system |
JP2005050007A (en) * | 2003-07-31 | 2005-02-24 | Hitachi Ltd | Storage system and its using method |
JP2006252247A (en) * | 2005-03-11 | 2006-09-21 | Hitachi Ltd | Storage system and data movement method |
US8984027B1 (en) * | 2011-07-28 | 2015-03-17 | Symantec Corporation | Systems and methods for migrating files to tiered storage systems |
JP2018005446A (en) * | 2016-06-30 | 2018-01-11 | 富士通株式会社 | Information processing apparatus, storage control program, and storage control method |
US20190034445A1 (en) * | 2017-07-26 | 2019-01-31 | International Business Machines Corporation | Cognitive file and object management for distributed storage environments |
CN110139234A (en) * | 2019-05-07 | 2019-08-16 | 肇庆学院 | A kind of wireless sensor network dormancy dispatching method based on node grouping |
-
2020
- 2020-01-30 JP JP2020013204A patent/JP7376894B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207370A (en) * | 1999-01-20 | 2000-07-28 | Matsushita Electric Ind Co Ltd | Distributed file management device and distributed file management system |
JP2003271316A (en) * | 2002-03-14 | 2003-09-26 | Hitachi Ltd | Storage system, its operation program and its operating method, information processing terminal and its operation program and data managing system |
JP2005050007A (en) * | 2003-07-31 | 2005-02-24 | Hitachi Ltd | Storage system and its using method |
JP2006252247A (en) * | 2005-03-11 | 2006-09-21 | Hitachi Ltd | Storage system and data movement method |
US8984027B1 (en) * | 2011-07-28 | 2015-03-17 | Symantec Corporation | Systems and methods for migrating files to tiered storage systems |
JP2018005446A (en) * | 2016-06-30 | 2018-01-11 | 富士通株式会社 | Information processing apparatus, storage control program, and storage control method |
US20190034445A1 (en) * | 2017-07-26 | 2019-01-31 | International Business Machines Corporation | Cognitive file and object management for distributed storage environments |
CN110139234A (en) * | 2019-05-07 | 2019-08-16 | 肇庆学院 | A kind of wireless sensor network dormancy dispatching method based on node grouping |
Non-Patent Citations (1)
Title |
---|
IRIE, RYO ET AL.: "A Novel Automated Tiered Storage Architecture for Achieving both Cost Saving and QoE", 2018 IEEE 8TH INTERNATIONAL SYMPOSIUM ON CLOUD AND SERVICE COMPUTING (SC2) [ONLINE], JPN6023000485, 9 December 2018 (2018-12-09), pages 32 - 40, ISSN: 0005086650 * |
Also Published As
Publication number | Publication date |
---|---|
JP7376894B2 (en) | 2023-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhong et al. | A deep reinforcement learning-based framework for content caching | |
US9330004B2 (en) | Data processing method, cache node, collaboration controller, and system | |
US8914501B2 (en) | Method, apparatus, and system for scheduling distributed buffer resources | |
US7644230B1 (en) | Dynamic load management of network memory | |
JP2015072682A (en) | Method and device for load balancing and dynamic scaling of low delay two-layer distributed cache storage system | |
CN108377530B (en) | Method and system for generating mobile wireless access network content network slice | |
JP2005031987A (en) | Content layout management system and content layout management program for content delivery system | |
CN105095495B (en) | A kind of distributed file system buffer memory management method and system | |
US20030236885A1 (en) | Method for data distribution and data distribution system | |
US8751750B2 (en) | Cache device, data management method, program, and cache system | |
Khodaparas et al. | A multi criteria cooperative caching scheme for internet of things | |
JP4423104B2 (en) | Resource load measuring method, network control device, communication node, and storage medium | |
JP2021119437A (en) | Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program | |
JP2021119438A (en) | Data management system, data managing device, forced movement object data selection device, forced movement destination selection device, and data management method, and program | |
CN110581873B (en) | Cross-cluster redirection method and monitoring server | |
JP2003296153A (en) | Storage system and program therefor | |
CN115051996B (en) | Video cache management method based on local video utility value under multi-access edge calculation | |
JP7174372B2 (en) | Data management method, device and program in distributed storage network | |
WO2017049488A1 (en) | Cache management method and apparatus | |
Tirupathi et al. | HybridCache: AI-assisted cloud-RAN caching with reduced in-network content redundancy | |
Khaneghah et al. | A dynamic replication mechanism to reduce response-time of I/O operations in high performance computing clusters | |
KR101690944B1 (en) | Method and apparatus for managing distributed cache in consideration of load distribution in heterogeneous computing environment | |
KR102541077B1 (en) | Method and apparatus for caching content in 5G MEC-based information-centric network | |
CN112445794A (en) | Caching method of big data system | |
JP7082373B2 (en) | Data management device and data management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |