JP2008152531A

JP2008152531A - Distributed data storage system, program, transfer client, transfer server, home server, and on-vehicle server

Info

Publication number: JP2008152531A
Application number: JP2006339750A
Authority: JP
Inventors: Sakae Shimamura; 栄島村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-12-18
Filing date: 2006-12-18
Publication date: 2008-07-03

Abstract

<P>PROBLEM TO BE SOLVED: To provide a distributed data storage system, capable of efficiently utilizing a computer and network resources. <P>SOLUTION: The distributed data storage system comprises transfer data importance setting parts 120 and 220; a high-reliability transfer client 212; a high-reliability transfer server 112; a speed-priority transfer client 211; and a speed-priority transfer server 111. A user preliminarily sets a transfer data item, a transfer data quantity, and a transfer method according to the importance of data. The client 212 and the server 112 repeat, for surely transferring important data, retransmission of data until storage of the data is confirmed. The client 211 and the server 111 perform, when data which is not so much important is stored, transfer of the data with a smaller computer and lesser network resources without performing the storage confirmation or retransmission of data. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、分散データストレージシステム、プログラム、移行クライアント、移行サーバ、ホームサーバ、及び車載サーバに関する。 The present invention relates to a distributed data storage system, a program, a migration client, a migration server, a home server, and an in-vehicle server.

ネットワーク等を介して分散配置された複数のデータストレージ間で、データ移行をすることのできる分散データストレージシステムが知られる。分散データストレージシステムでは、一般に、あるデータストレージシステムに格納しているデータを、別のデータストレージシステムへ移し換えるためのデータ移行機能を持つ。データ移行機能の一例は、データストレージシステムのデータエキスポート手段とデータインポート手段とを組み合わせて実現される。まず、データエキスポート手段により、格納しているデータを、全てファイルシステムなどへ出力する。次に、エキスポート結果のデータファイルを、ネットワークやＣＤ−Ｒ、テープデバイスなどの記憶媒体を介して、データ移行先のデータストレージシステムへ移動させる。そして、データインポート手段により、移行先のデータストレージシステムに読み込ませることで、データ移行が完了する。 2. Description of the Related Art A distributed data storage system that can perform data migration between a plurality of data storages distributed and arranged via a network or the like is known. A distributed data storage system generally has a data migration function for transferring data stored in one data storage system to another data storage system. An example of the data migration function is realized by combining the data export unit and the data import unit of the data storage system. First, all stored data is output to a file system or the like by the data export means. Next, the data file of the export result is moved to the data migration destination data storage system via a storage medium such as a network, CD-R, or tape device. Then, data migration is completed by causing the data import means to read the data storage system at the migration destination.

一方、近年、センサネットワークと呼ばれる技術が実用化されつつあり、家電管理、車載機器制御のような領域で活用されつつある。このようなセンサネットワークにおいては、収集されるセンサデータは、いくつかのセンサ機器を取り纏めるフロントサーバ（例えば、ホームサーバや車載サーバ。）の１次ストレージに蓄積される。しかしながら、多くの場合、この１次ストレージの容量はそれほど大きくは無い。そこで、１次ストレージに、一定量のセンサデータが蓄積された段階で、ネットワークを介して接続される上位のセンタサーバにおける２次ストレージへ、センサデータを移行する。このようなセンサネットワークに関して、そのストレージ間のデータ移行に関する研究論文として、田中他「大規模な街角センサネットワークにおけるデータ収集・管理システムの設計」情報処理学会論文誌：データベースＮｏ．ＳＩＧ５（ＴＯＤ２５）２００５年３月（非特許文献１参照）が存在する。 On the other hand, in recent years, a technique called a sensor network is being put into practical use and is being used in areas such as home appliance management and in-vehicle device control. In such a sensor network, collected sensor data is accumulated in a primary storage of a front server (for example, a home server or an in-vehicle server) that collects several sensor devices. However, in many cases, the capacity of the primary storage is not so large. Therefore, when a certain amount of sensor data is accumulated in the primary storage, the sensor data is migrated to the secondary storage in the upper center server connected via the network. Regarding such sensor networks, Tanaka et al. “Design of data collection and management systems in large-scale street corner sensor networks”, Transactions of Information Processing Society of Japan: Database No. SIG5 (TOD 25) March 2005 (see Non-Patent Document 1) exists.

非特許文献１に記載されたセンサネットワークにおけるセンサデータの移行処理に関する問題点は、常に全てのセンサデータを移行することを前提としており、重要なデータも、そうでは無いデータも、画一的に移行処理を行なう点である。よって、データ移行を確実に行うために必要となる計算機、ネットワーク資源は、非常に大きくなりがちである。しかしながら、センサデータの用途を鑑みると、センサデータには、重要であり確実に移行が必要なセンサデータや、それほど重要で無く、移行できるのであれば移行しても良いデータなどが混在している。従来のセンサネットワークでは、さまざまなセンサデータに対して、画一的な信頼度でデータ移行を行うので、資源活用の観点からは無駄が多いと言える。 The problem related to the sensor data migration processing in the sensor network described in Non-Patent Document 1 is based on the premise that all sensor data is always migrated. This is the point of performing the migration process. Therefore, the computer and network resources necessary for reliably performing data migration tend to be very large. However, considering the application of sensor data, sensor data includes sensor data that is important and needs to be migrated, and data that is not so important and that can be migrated if it can be migrated. . In the conventional sensor network, data migration is performed with uniform reliability for various sensor data, so it can be said that there is a lot of waste from the viewpoint of resource utilization.

分散データストレージシステムに関するその他の公知文献としては、特開２００３−１４０８３６号公報（特許文献１参照）、特開２００５−１６５４８５号公報（特許文献２参照）、特開２００６−０８５２０８号公報（特許文献３参照）が知られる。 Other known documents related to the distributed data storage system include Japanese Patent Application Laid-Open No. 2003-140836 (see Patent Document 1), Japanese Patent Application Laid-Open No. 2005-165485 (see Patent Document 2), Japanese Patent Application Laid-Open No. 2006-085208 (Patent Document). 3) is known.

特許文献１のストレージシステムの管理方法の発明においては、第１の情報ネットワークには、複数のストレージサブシステムが接続される。少なくとも一つの第１の情報処理装置は、前記第１の情報ネットワークと、前記ストレージサブシステムの記憶領域を利用する第３の情報処理装置が接続された第２の情報ネットワークとの間に介在する。第２の情報処理装置は、前記第１の情報ネットワークに接続され、前記複数のストレージサブシステムを管理する。前記第１および第２の情報処理装置の少なくとも一方は、前記複数のストレージサブシステムのベンダー情報（製造元情報）および使用状況情報を取得する。前記ベンダー情報（製造元情報）および使用状況情報に基づいて、個々の前記ストレージサブシステム内の記憶領域間、および複数の前記ストレージサブシステムの各々の前記記憶領域間におけるデータ移動を行う。 In the invention of the storage system management method of Patent Document 1, a plurality of storage subsystems are connected to the first information network. At least one first information processing apparatus is interposed between the first information network and a second information network to which a third information processing apparatus that uses a storage area of the storage subsystem is connected. . The second information processing apparatus is connected to the first information network and manages the plurality of storage subsystems. At least one of the first and second information processing apparatuses acquires vendor information (manufacturer information) and usage status information of the plurality of storage subsystems. Based on the vendor information (manufacturer information) and usage status information, data movement is performed between storage areas in each of the storage subsystems and between the storage areas of each of the plurality of storage subsystems.

特許文献２のファイル管理装置の発明においては、物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを管理する。移動管理部は、使用中のデータを、信頼性が高く、高速アクセス可能な１次ストレージから移動させる必要がある場合、前記データを、高速アクセスが可能で、コストパフォーマンスに優れる２次ストレージと、信頼性が高く、大容量の保管用ストレージとの双方に同時に移動させる。明細書の段落００２２で言及している「アクセス速度が遅い」、「高速アクセス」の記述は、データ格納の２重化によって、格納したデータを再利用する際の高速アクセスの担保についての言及である。また、段落００２３での「信頼性が高く」の記述は、明細書全体の記述から判断して、格納後にデータ消失の可能性が低い、ということを指していると考えられる。すなわち、特許文献２は、データ移行先のストレージの選択方式についての発明である。これによって得られる効果は、データ格納（移行）後のアクセス効率の向上にあると考えられる。 In the invention of the file management apparatus of Patent Document 2, a storage system constructed by combining a plurality of types of storage media having different physical characteristics is managed. When the movement management unit needs to move the data in use from the primary storage that is reliable and can be accessed at high speed, the data can be accessed at high speed, and the secondary storage that is excellent in cost performance; Move to both high-reliability and large-capacity storage at the same time. The descriptions of “low access speed” and “high speed access” referred to in paragraph 0022 of the specification are references to guaranteeing high speed access when reusing stored data by duplicating data storage. is there. In addition, the description of “high reliability” in paragraph 0023 is considered to indicate that the possibility of data loss after storage is low as judged from the description of the entire specification. That is, Patent Document 2 is an invention relating to a method of selecting a data migration destination storage. The effect obtained by this is considered to be the improvement of access efficiency after data storage (migration).

特許文献３の情報ライフサイクル管理システムの発明においては、Ａ．複合ストレージ装置は、ビット単価や特性の異なる複数のデータ配置領域を有する。Ｂ．データ配置管理システムは、管理対象データ（データアイテム）の前記データ配置領域への配置設定の管理を行なう。Ｃ．応用システムは、前記管理対象データを利用してサービスの提供を行なう。前記応用システムにおいては、Ｃ−１：運用目標条件設定手段は、前記サービスが満たすべき運用目標条件を設定するためのものである。Ｃ−２：データ配置関連情報交換手段は、前記データ配置管理システムにおけるデータ配置決定に利用される情報を前記データ配置管理システムとの間で交換するためのものである。特許文献３は、格納したデータに対するアクセス頻度に応じて、データ格納対象となるストレージを変更する技術である。つまり、期待できる効果としては、特許文献２と同様、データ格納後の効率的なアクセス、及びストレージ利用であると考えられる。 In the invention of the information life cycle management system of Patent Document 3, A. The composite storage apparatus has a plurality of data arrangement areas with different bit unit prices and characteristics. B. The data arrangement management system manages arrangement settings of data to be managed (data items) in the data arrangement area. C. The application system provides services using the management target data. In the application system, the C-1: operation target condition setting means is for setting operation target conditions to be satisfied by the service. C-2: Data arrangement related information exchanging means is for exchanging information used for data arrangement determination in the data arrangement management system with the data arrangement management system. Patent Literature 3 is a technique for changing a storage to be a data storage target in accordance with an access frequency for stored data. In other words, as expected effects, as in Patent Document 2, it is considered to be efficient access after data storage and storage use.

特開２００３−１４０８３６号公報Japanese Patent Laid-Open No. 2003-140836 特開２００５−１６５４８５号公報JP 2005-165485 A 特開２００６−０８５２０８号公報JP 2006-085208 A 田中他「大規模な街角センサネットワークにおけるデータ収集・管理システムの設計」情報処理学会論文誌：データベースＮｏ．ＳＩＧ５（ＴＯＤ２５）２００５年３月Tanaka et al. “Design of data collection and management system in large-scale street corner sensor network” Information Processing Society of Japan: Database No. SIG5 (TOD 25) March 2005

本発明の課題は、計算機、ネットワーク資源を効率的に活用できる分散データストレージシステムを提供することである。本発明の他の課題は、移行するデータの重要度に応じて、データ移行時の信頼性能を調節することである。 An object of the present invention is to provide a distributed data storage system that can efficiently use computers and network resources. Another object of the present invention is to adjust the reliability performance at the time of data migration according to the importance of the data to be migrated.

以下に、［発明を実施するための最良の形態］で使用される番号・符号を用いて、［課題を解決するための手段］を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。 [Means for Solving the Problems] will be described below using the numbers and symbols used in [Best Mode for Carrying Out the Invention]. These numbers and symbols are added in parentheses in order to clarify the correspondence between the description of [Claims] and [Best Mode for Carrying Out the Invention]. However, these numbers and symbols should not be used for the interpretation of the technical scope of the invention described in [Claims].

本発明による分散データストレージシステムにおいては、アプリケーション部（３００）は、データを送出する。一次データ格納システム（２０１）は、当該アプリケーション部（３００）から送出される前記データを格納する。二次データ格納システム（１０１）を有する。第一のデータ移行部（１１２，２１２）は、前記一次データ格納システム（２０１）から前記二次データ格納システム（１０１）へ、前記データを移行する。第二のデータ移行部（１１１，２１１）は、前記一次データ格納システム（２０１）から前記二次データ格納システム（１０１）へ、前記データを移行する。前記第一のデータ移行部（１１２，２１２）は、データの移行完了を確認する移行処理を実行する第一のデータ移行機能を有する。前記第二のデータ移行部（１１１，２１１）は、データの移行完了を保証しない移行処理を実行する第二のデータ移行機能を有する。また、本発明による分散データストレージシステムにおいては、前記第二のデータ移行機能は、前記一次データ格納システム（２０１）と、前記二次データ格納システム（１０１）との間で送受信されるデータの一部が欠落したときに、当該欠落した一部のデータを、前記一次データ格納システム（２０１）から、前記二次データ格納システム（１０１）へ再送する再送機能を有しない。また、本発明による分散データストレージシステムにおいては、前記第一のデータ移行機能は、前記一次データ格納システム（２０１）と、前記二次データ格納システム（１０１）との間で送受信されるデータの一部が欠落した場合に、当該欠落した一部のデータを、前記一次データ格納システム（２０１）から、前記二次データ格納システム（１０１）へ再送する再送機能を有する。また、本発明による分散データストレージシステムにおいては、移行方法設定部（２２１）は、前記一次データ格納システム（２０１）に格納されたデータを、前記第一のデータ移行部（１１２，２１２）によって、前記二次データ格納システム（１０１）に移行させるか、又は、前記一次データ格納システム（２０１）に格納されたデータを、前記第二のデータ移行部（１１１，２１１）によって、前記二次データ格納システム（１０１）に移行させるかを示す設定情報を保持する。移行処理管理部（２３０）は、当該移行方法設定部（２２１）に保持された前記設定情報を参照して、あるデータを、前記第一のデータ移行部（１１２，２１２）によって移行させるか、又は、前記第二のデータ移行部（１１１，２１１）によって移行させるかを選択する。また、本発明による分散データストレージシステムにおいては、容量監視部（２４０）は、前記一次データ格納システム（２０１）に蓄積されるデータの容量を監視する。当該容量監視部（２４０）は、前記容量が予め定められた閾値を超えたときに、前記移行処理管理部（２３０）に、データの移行処理を開始するように指示する。 In the distributed data storage system according to the present invention, the application unit (300) transmits data. The primary data storage system (201) stores the data transmitted from the application unit (300). A secondary data storage system (101) is included. The first data migration unit (112, 212) migrates the data from the primary data storage system (201) to the secondary data storage system (101). The second data migration unit (111, 211) migrates the data from the primary data storage system (201) to the secondary data storage system (101). The first data migration unit (112, 212) has a first data migration function for executing a migration process for confirming completion of data migration. The second data migration unit (111, 211) has a second data migration function for executing a migration process that does not guarantee completion of data migration. Further, in the distributed data storage system according to the present invention, the second data migration function is a function of data transmitted / received between the primary data storage system (201) and the secondary data storage system (101). When a part is missing, it does not have a retransmission function for resending part of the missing data from the primary data storage system (201) to the secondary data storage system (101). Further, in the distributed data storage system according to the present invention, the first data migration function is a function of data transmitted / received between the primary data storage system (201) and the secondary data storage system (101). In the case where a part is missing, it has a retransmission function for resending part of the missing data from the primary data storage system (201) to the secondary data storage system (101). In the distributed data storage system according to the present invention, the migration method setting unit (221) causes the data stored in the primary data storage system (201) to be transferred by the first data migration unit (112, 212). The secondary data storage system (101) is migrated, or the data stored in the primary data storage system (201) is stored by the second data migration unit (111, 211) in the secondary data storage system (101). The setting information indicating whether to move to the system (101) is held. The migration processing management unit (230) refers to the setting information held in the migration method setting unit (221), and migrates certain data by the first data migration unit (112, 212). Alternatively, it is selected whether to migrate by the second data migration unit (111, 211). In the distributed data storage system according to the present invention, the capacity monitoring unit (240) monitors the capacity of data stored in the primary data storage system (201). The capacity monitoring unit (240) instructs the migration processing management unit (230) to start data migration processing when the capacity exceeds a predetermined threshold.

また、本発明による分散データストレージシステムにおいては、緊急状況監視部（２６０）は、前記一次データ格納システム（２０１）における致命的な問題の発生を検知する。緊急移行処理管理部（２３５）は、当該緊急状況監視部（２６０）から、致命的な問題が発生したことを通知されたときに、その旨を、前記移行処理管理部（２３０）へ通知する。前記移行方法設定部（２２１）は、緊急時に、前記一次データ格納システム（２０１）に格納されたデータを、前記二次データ格納システム（１０１）に移行しないか、又は、前記一次データ格納システム（２０１）に格納されたデータを、前記第一のデータ移行部（１１２，２１２）によって、前記二次データ格納システム（１０１）に移行させるか、或いは、前記一次データ格納システム（２０１）に格納されたデータを、前記第二のデータ移行部（１１１，２１１）によって、前記二次データ格納システム（１０１）に移行させるかを示す緊急時設定情報を保持する。前記移行処理管理部（２３０）は、緊急時に、当該移行方法設定部（２２１）に保持された前記緊急時設定情報を参照して、あるデータを、前記二次データ格納システム（１０１）へ移行させないか、又は、前記第一のデータ移行部（１１２，２１２）によって移行させるか、或いは、前記第二のデータ移行部（１１１，２１１）によって移行させるかを選択する。 In the distributed data storage system according to the present invention, the emergency situation monitoring unit (260) detects the occurrence of a fatal problem in the primary data storage system (201). When the emergency transition processing management unit (235) is notified by the emergency situation monitoring unit (260) that a fatal problem has occurred, the emergency transition processing management unit (235) notifies the migration processing management unit (230) to that effect. . The migration method setting unit (221) does not migrate the data stored in the primary data storage system (201) to the secondary data storage system (101) in an emergency, or the primary data storage system ( The data stored in 201) is transferred to the secondary data storage system (101) by the first data transfer unit (112, 212) or stored in the primary data storage system (201). Emergency setting information indicating whether the second data migration unit (111, 211) migrates the data to the secondary data storage system (101) is held. The migration processing management unit (230) refers to the emergency setting information held in the migration method setting unit (221) and transfers certain data to the secondary data storage system (101) in an emergency. Whether to migrate by the first data migration unit (112, 212) or to migrate by the second data migration unit (111, 211) is selected.

また、本発明によるプログラムにおいては、第一のプログラムは、一次データ格納システム（２００，２５０）において、データを二次データ格納システム（１００）へ移行させる移行処理をコンピュータに実行させる。第二のプログラムは、前記一次データ格納システム（２００，２５０）において、前記データを前記二次データ格納システム（１００）へ移行させる移行処理をコンピュータに実行させる。前記第一のプログラムは、以下の手順をコンピュータに実行させる。分割する手順は、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ移行するデータを、ｎ個の分割データに分割する。送信する手順は、前記分割データｉ（ｉ＝１，２，…，ｎ）を、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ送信する。再送する手順は、前記二次データ格納システム（１００）から、受信できなかった分割データｍ（１≦ｍ≦ｎ）があったことを通知されたときに、当該分割データｍを再送する。終了する手順は、前記二次データ格納システム（１００）から、全ての分割データｉ（ｉ＝１，２，…，ｎ）を受信できたことを通知されたならば、前記データの移行処理を終了する。前記第二のプログラムは、以下の手順をコンピュータに実行させる。分割する手順は、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ移行するデータを、ｎ個の分割データに分割する。送信する手順は、前記分割データｉ（ｉ＝１，２，…，ｎ）を、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ送信する。終了する手順は、前記全ての分割データｉ（ｉ＝１，２，…，ｎ）を送信したならば、前記データの移行処理を終了する。 In the program according to the present invention, the first program causes the computer to execute a migration process for migrating data to the secondary data storage system (100) in the primary data storage system (200, 250). The second program causes the computer to execute a migration process for transferring the data to the secondary data storage system (100) in the primary data storage system (200, 250). The first program causes the computer to execute the following procedure. In the dividing procedure, data to be transferred from the primary data storage system (200, 250) to the secondary data storage system (100) is divided into n divided data. In the transmission procedure, the divided data i (i = 1, 2,..., N) is transmitted from the primary data storage system (200, 250) to the secondary data storage system (100). In the retransmission procedure, when it is notified from the secondary data storage system (100) that there is divided data m (1 ≦ m ≦ n) that could not be received, the divided data m is retransmitted. When the secondary data storage system (100) is notified that all of the divided data i (i = 1, 2,..., N) has been received, the procedure for ending the process is as follows. finish. The second program causes the computer to execute the following procedure. In the dividing procedure, data to be transferred from the primary data storage system (200, 250) to the secondary data storage system (100) is divided into n divided data. In the transmission procedure, the divided data i (i = 1, 2,..., N) is transmitted from the primary data storage system (200, 250) to the secondary data storage system (100). In the procedure to end, when all the divided data i (i = 1, 2,..., N) have been transmitted, the data migration processing ends.

また、本発明によるプログラムにおいては、第三のプログラムは、二次データ格納システム（１００）において、データを一次データ格納システム（２００，２５０）から移行させる移行処理をコンピュータに実行させる。第四のプログラムは、前記二次データ格納システム（１００）において、前記データを前記一次データ格納システム（２００，２５０）から移行させる移行処理をコンピュータに実行させる。前記第三のプログラムは、以下の手順をコンピュータに実行させる。分割データｉを受信する手順は、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ移行するデータを、ｎ個に分割した分割データｉ（ｉ＝１，２，…，ｎ）を受信する。確認する手順は、前記分割データｉ（ｉ＝１，２，…，ｎ）を、全て受信したかを確認する。通知する手順は、受信できなかった分割データｍ（１≦ｍ≦ｎ）があることを検出したときに、その旨を、前記一次データ格納システム（２００，２５０）へ通知する。分割データｍを受信する手順は、再送される前記分割データｍを受信する。終了する手順は、前記分割データｉ（ｉ＝１，２，…，ｎ）を全て受信できたときに、その旨を、前記一次データ格納システム（２００，２５０）へ通知して、移行処理を終了する。前記第四のプログラムは、以下の手順をコンピュータに実行させる。受信する手順は、前記一次データ格納システム（２００，２５０）から前記二次データ格納システム（１００）へ移行するデータを、ｎ個に分割した分割データｉ（ｉ＝１，２，…，ｎ）を受信する。タイムアウトとする手順は、受信できていない分割データｍ（１≦ｍ≦ｎ）があった場合に、当該分割データｍの受信を所定時間だけ待っても、前記分割データｍを受信できなかったときには、タイムアウトとする。終了する手順は、全ての分割データｉ（ｉ＝１，２，…，ｎ）を受信できたときに、又は、全ての分割データｉ（ｉ＝１，２，…，ｎ）を受信できていないが、受信できていない分割データについては、タイムアウトとなったときに、前記データの移行処理を終了する。 In the program according to the present invention, the third program causes the computer to execute a migration process for migrating data from the primary data storage system (200, 250) in the secondary data storage system (100). The fourth program causes the computer to execute a migration process for migrating the data from the primary data storage system (200, 250) in the secondary data storage system (100). The third program causes the computer to execute the following procedure. The procedure for receiving the divided data i is to divide the data to be transferred from the primary data storage system (200, 250) to the secondary data storage system (100) into n divided data i (i = 1, 2, ..., n) are received. In the confirmation procedure, it is confirmed whether all the divided data i (i = 1, 2,..., N) have been received. In the notification procedure, when it is detected that there is divided data m (1 ≦ m ≦ n) that could not be received, this is notified to the primary data storage system (200, 250). In the procedure for receiving the divided data m, the divided data m to be retransmitted is received. When the divided data i (i = 1, 2,..., N) has been received, the procedure for ending is notified to the primary data storage system (200, 250) and the migration process is performed. finish. The fourth program causes the computer to execute the following procedure. The procedure for receiving is divided data i (i = 1, 2,..., N) obtained by dividing the data to be transferred from the primary data storage system (200, 250) to the secondary data storage system (100) into n pieces. Receive. The procedure for setting a timeout is when there is divided data m that cannot be received (1 ≦ m ≦ n), and when the divided data m cannot be received even after waiting for a predetermined time to receive the divided data m. Timeout. The procedure to end is when all the divided data i (i = 1, 2,..., N) can be received or all the divided data i (i = 1, 2,..., N) can be received. For divided data that has not been received, the data migration process is terminated when a timeout occurs.

また、本発明による記録媒体においては、請求項７又は８に記載のプログラムを記録する。また、本発明による移行クライアントにおいては、請求項７記載の第一のプログラムと第二のプログラムとの双方を、コンピュータにより動作させる。また、本発明による移行サーバにおいては、請求項８記載の第三のプログラムと第四のプログラムとの双方を、コンピュータにより動作させる。また、本発明によるホームサーバ（２０３）においては、１次ストレージ（２０５）は、家電機器（３０１）から送出される機器使用状況を示すセンサデータを格納する。請求項７記載の第一のプログラムと第二のプログラムとの双方を、コンピュータにより動作させる。前記第一のプログラムは、当該１次ストレージ（２０５）に格納されたセンサデータを二次データ格納システム（１０３）へ移行させる移行処理を実行する。前記第二のプログラムは、当該１次ストレージ（２０５）に格納されたセンサデータを二次データ格納システム（１０３）へ移行させる移行処理を実行する。また、本発明による車載サーバ（２０４）においては、１次ストレージ（２０６）は、自動車に装備された位置測定器（３０５）から送出される走行位置を示すセンサデータを格納する。請求項７記載の第一のプログラムと第二のプログラムとの双方を、コンピュータにより動作させる。前記第一のプログラムは、当該１次ストレージ（２０６）に格納された前記センサデータを二次データ格納システム（１０３）へ移行させる移行処理を実行する。前記第二のプログラムは、当該１次ストレージ（２０６）に格納された前記センサデータを二次データ格納システム（１０３）へ移行させる移行処理を実行する。 A recording medium according to the present invention records the program according to claim 7 or 8. In the migration client according to the present invention, both the first program and the second program according to claim 7 are operated by a computer. In the migration server according to the present invention, both the third program and the fourth program according to claim 8 are operated by a computer. In the home server (203) according to the present invention, the primary storage (205) stores sensor data indicating the device usage status sent from the home appliance (301). Both the first program and the second program according to claim 7 are operated by a computer. The first program executes a migration process for migrating sensor data stored in the primary storage (205) to the secondary data storage system (103). The second program executes a migration process for migrating sensor data stored in the primary storage (205) to the secondary data storage system (103). Further, in the in-vehicle server (204) according to the present invention, the primary storage (206) stores sensor data indicating the traveling position sent from the position measuring device (305) installed in the automobile. Both the first program and the second program according to claim 7 are operated by a computer. The first program executes a migration process for migrating the sensor data stored in the primary storage (206) to the secondary data storage system (103). The second program executes a migration process for migrating the sensor data stored in the primary storage (206) to the secondary data storage system (103).

本発明によれば、計算機、ネットワーク資源を効率的に利用して、データ移行を行う分散データストレージシステムを提供することができる。また、移行するデータの重要度に応じて、データ移行時の信頼性能を調節することができる。 According to the present invention, it is possible to provide a distributed data storage system that performs data migration by efficiently using computers and network resources. Further, the reliability performance at the time of data migration can be adjusted according to the importance of the data to be migrated.

本発明を実施するための最良の形態について、図面を参照して詳細に説明する。本実施の形態における分散データストレージシステムは、図１，図１０に示すように、移行データの重要度を設定するための移行方法設定ＡＰＩ１２０，２２０と、高信頼移行クライアント２１２と、高信頼移行サーバ１１２と、速度優先移行クライアント２１１と、速度優先移行サーバ１１１とを備える。利用者は、事前にデータの重要度に応じて、移行データ項目、移行データ量、移行方法などを設定しておく。高信頼移行クライアント２１２、及び、高信頼移行サーバ１１２は、重要なデータを確実に移行するため、データの格納が確認されるまで、データの再送を繰り返す。速度優先移行クライアント２１１、及び、速度優先移行サーバ１１１は、それほど重要でないデータを移行する際に、格納確認、データ再送を行わず、より小さい計算機、ネットワーク資源でデータ転送を行う。このような構成を採用することにより、本発明の課題を達成することができる。 The best mode for carrying out the present invention will be described in detail with reference to the drawings. As shown in FIGS. 1 and 10, the distributed data storage system according to the present embodiment includes migration method setting APIs 120 and 220 for setting the importance of migration data, a highly reliable migration client 212, and a highly reliable migration server. 112, a speed priority transfer client 211, and a speed priority transfer server 111. The user sets the migration data item, the migration data amount, the migration method, etc. in advance according to the importance of the data. The high-reliability migration client 212 and the high-reliability migration server 112 repeat data retransmission until data storage is confirmed in order to reliably migrate important data. The speed priority transfer client 211 and the speed priority transfer server 111 perform data transfer using smaller computers and network resources without performing storage confirmation and data retransmission when transferring less important data. By employing such a configuration, the object of the present invention can be achieved.

＝＝第一の実施の形態＝＝
図１を参照すると、本発明による第一の実施の形態は、センタサーバ１００と、フロントサーバ２００と、ストレージ格納アプリケーション部３００とから構成される。これらの三者の動作概略は、次の通りである。ストレージ格納アプリケーション部３００は、逐次、アプリケーション部で取得したデータを、フロントサーバ２００へ送出する。フロントサーバ２００は、ストレージ格納アプリケーション部３００から送出されるデータを格納する。さらに、フロントサーバ２００は、格納したデータを、適宜センタサーバ１００へ移行する。 == First Embodiment ==
Referring to FIG. 1, the first embodiment according to the present invention includes a center server 100, a front server 200, and a storage storage application unit 300. The outline of the operation of these three parties is as follows. The storage storage application unit 300 sequentially sends the data acquired by the application unit to the front server 200. The front server 200 stores data transmitted from the storage storage application unit 300. Furthermore, the front server 200 migrates the stored data to the center server 100 as appropriate.

センタサーバ１００は、フロントサーバ２００から移行されたデータを格納する２次ストレージ１０１と、フロントサーバ２００からの移行処理を担う移行サーバ１１０と、移行データの移行方法設定を行うためのアプリケーションインタフェースである移行方法設定ＡＰＩ１２０とから構成される。さらに、移行サーバ１１０は、速度優先移行サーバ１１１と、高信頼移行サーバ１１２とから構成される。 The center server 100 is an application interface for setting the secondary storage 101 that stores data migrated from the front server 200, the migration server 110 that performs migration processing from the front server 200, and the migration data migration method setting. It is comprised from the transfer method setting API120. Further, the migration server 110 includes a speed priority migration server 111 and a highly reliable migration server 112.

フロントサーバ２００は、ストレージ格納ＡＰ部３００から送出されるデータを格納する１次ストレージ２０１と、１次ストレージの内容を適宜センタサーバ２００へ移行する際の処理を担う移行クライアント２１０と、移行データの移行方法設定を行うためのアプリケーションインタフェースである移行方法設定ＡＰＩ２２０と、データの移行方法が設定される移行方法設定部２２１と、設定された移行方法に応じて、移行処理の順序、方式を管理する移行処理管理部２３０と、１次ストレージの容量を監視して、移行処理のトリガを発する容量監視部２４０とから構成される。さらに、移行クライアント２１０は、速度優先移行クライアント２１１と、高信頼移行クライアント２１２とから構成される。 The front server 200 includes a primary storage 201 that stores data transmitted from the storage storage AP unit 300, a migration client 210 that performs processing when the contents of the primary storage are appropriately migrated to the center server 200, a migration data The migration method setting API 220, which is an application interface for performing the migration method setting, the migration method setting unit 221 in which the data migration method is set, and the order and method of migration processing are managed according to the set migration method. It includes a migration process management unit 230 and a capacity monitoring unit 240 that monitors the capacity of the primary storage and generates a migration process trigger. Further, the migration client 210 includes a speed priority migration client 211 and a highly reliable migration client 212.

これらの各部は以下のように動作する。利用者は、事前に、ストレージ格納ＡＰ部３００で発生するデータについて、そのデータモデルおよび重要度に応じて、データの移行方法を移行方法設定ＡＰＩ１２０，２２０を介して設定する。また、利用者は、移行処理を行うきっかけとなる１次ストレージ２０１の残り容量や、定期的な移行処理の起動のための時間間隔も設定する。利用者からの入力を受け付ける移行方法設定ＡＰＩ１２０，２２０は、入力内容を移行方法設定部２２１に登録する。 Each of these units operates as follows. The user sets the data migration method for the data generated in the storage storage AP unit 300 in advance via the migration method setting APIs 120 and 220 in accordance with the data model and importance. The user also sets the remaining capacity of the primary storage 201 that triggers the migration process and the time interval for starting the regular migration process. The migration method setting APIs 120 and 220 that accept input from the user register the input contents in the migration method setting unit 221.

ストレージ格納ＡＰ部３００は、センタサーバ１００、フロントサーバ２００の動作とは無関係に、データをフロントサーバ２００の１次ストレージ２０１に逐次送出する。容量監視部２４０は、１次ストレージの容量を常時監視しており、１次ストレージ２０１の残り容量が、事前に設定された値を下回ったら、移行処理管理部２３０に通知を行う。 The storage storage AP unit 300 sequentially sends data to the primary storage 201 of the front server 200 regardless of the operations of the center server 100 and the front server 200. The capacity monitoring unit 240 constantly monitors the capacity of the primary storage, and notifies the migration processing management unit 230 when the remaining capacity of the primary storage 201 falls below a preset value.

移行処理管理部２３０は、容量監視部２４０からの通知があると、移行クライアント２１０を呼び出す。移行クライアント２１０は、事前に移行方法設定部２２１に登録された移行方法で、センタサーバ１００に対してデータ移行を開始する。また、毎時、日次などでの移行処理が設定されている場合には、容量監視部２４０からの通知とは無関係に、定期的にデータ移行処理を開始する。データ移行方法として、信頼性の高い移行方法が選択されている場合は、高信頼移行クライアント２１２から信頼性の高いプロトコルで移行処理が行われる。一方、速度優先の移行方法が選択されている場合は、速度優先移行クライアント２１１から軽量なプロトコルで移行処理が行われる。 The migration processing management unit 230 calls the migration client 210 when notified from the capacity monitoring unit 240. The migration client 210 starts data migration with respect to the center server 100 by the migration method registered in the migration method setting unit 221 in advance. In addition, when the migration process is set every hour or daily, the data migration process is periodically started regardless of the notification from the capacity monitoring unit 240. When a highly reliable migration method is selected as the data migration method, migration processing is performed from the highly reliable migration client 212 using a highly reliable protocol. On the other hand, when the speed priority transfer method is selected, the speed priority transfer client 211 performs the transfer process using a lightweight protocol.

センタサーバ１００の移行サーバ１１０では、フロントサーバ２００の移行クライアント２１０からの要求に応じて高信頼移行サーバ１１２もしくは速度優先移行サーバ１１１が移行データを受信し、受信した移行データを２次ストレージ１０１へ格納する。高信頼移行サーバ１１２は、２次ストレージへの格納を確認後、高信頼移行クライアント２１２に対して格納確認を送信する。このように、移行処理は、移行方法が登録された時点で実行されるのではなく、容量監視部２４０からの通知、もしくは事前に設定された一定の間隔で、移行処理管理部２３０が自動的に実行する。 In the migration server 110 of the center server 100, the highly reliable migration server 112 or the speed priority migration server 111 receives the migration data in response to a request from the migration client 210 of the front server 200, and the received migration data is transferred to the secondary storage 101. Store. After confirming storage in the secondary storage, the highly reliable migration server 112 transmits a storage confirmation to the highly reliable migration client 212. As described above, the migration process is not executed when the migration method is registered, but is automatically performed by the migration process management unit 230 at a predetermined interval that is notified from the capacity monitoring unit 240 or set in advance. To run.

次に、移行方法設定ＡＰＩ１２０，２２０を介して、移行方法設定部２２１に登録されるデータ移行方法を指定する形式の一例を、図２を用いて説明する。なお、データ移行方法の指定形式に関して、下記はどのような機能が考えられるかを示す例であり、機能、形式ともに下記に限定されるものではない。図２は、事前に移行方法設定部２２１に対して登録されるデータ移行の方法一覧であるルールセットＲ１００を示している。 Next, an example of a format for designating a data migration method registered in the migration method setting unit 221 via the migration method setting APIs 120 and 220 will be described with reference to FIG. The following is an example showing what functions can be considered for the data migration method designation format, and the functions and formats are not limited to the following. FIG. 2 shows a rule set R100 that is a list of data migration methods registered in advance in the migration method setting unit 221.

図２において、指定形式Ｒ１０１では、特定のデータテーブルのデータに関しては、高信頼移行方法でデータ移行を行うことを示す。この例では、１次ストレージのデータ移行が必要になった場合、‘entrance_door’テーブルに格納されている全ての項目を‘CenterServer１’に対して、高信頼移行方法で移行させることを示している。 In FIG. 2, the designation format R101 indicates that data migration is performed using a highly reliable migration method for data in a specific data table. In this example, when the data migration of the primary storage becomes necessary, all items stored in the 'entrance_door' table are migrated to the 'CenterServer1' by the highly reliable migration method.

指定形式Ｒ１０２では、特定のデータテーブルのうち、指定する条件を満たすもののみを高信頼移行方法でデータ移行し、それ以外は速度優先移行方法で移行することを示す。この例では、‘room_temparature’テーブルの‘degree’項目の値が１００以上の行の‘time, room_id, degree’項目を‘CenterCerver１’に高信頼移行方法で移行させる。一方、この条件に合致しないデータは、速度優先移行方法で移行させることを示している。 The designation format R102 indicates that only a specific data table that satisfies a designated condition is migrated by the high-reliability migration method, and the others are migrated by the speed priority migration method. In this example, the “time, room_id, degree” items in the row where the value of the “degree” item in the “room_temparature” table is 100 or more are migrated to “CenterCerver1” by the highly reliable migration method. On the other hand, data that does not meet this condition indicates that data is transferred by the speed priority transfer method.

指定形式Ｒ１０３では、特定のデータテーブルにおいて、一部分のデータを抽出して高信頼移行方法でデータ移行し、それ以外のデータは速度優先移行方法で移行することを示す。この例では、‘power_meter’テーブルの‘time, value’項目のみで構成される行のうち、全体の２０％、つまり５行に１行の割合で抽出して‘CenterServer１’へ高信頼移行方法で移行させる。それ以外の行は、速度優先移行方法で移行させることを示している。 The designation format R103 indicates that a part of data is extracted from a specific data table and transferred by the high-reliability transfer method, and other data is transferred by the speed priority transfer method. In this example, out of the rows consisting of only the “time, value” items in the “power_meter” table, 20% of the total, that is, one row in 5 rows, is extracted to “CenterServer1” with a reliable migration method. Transition. The other lines indicate that the transition is performed by the speed priority transition method.

次に、速度優先移行クライアント２１１と、速度優先移行サーバ１１１との動作の一例について、図３、図４の流れ図と、図５のシーケンスチャートとを用いて説明する。 Next, an example of the operation of the speed priority transfer client 211 and the speed priority transfer server 111 will be described using the flowcharts of FIGS. 3 and 4 and the sequence chart of FIG.

図３を参照して、速度優先移行クライアント２１１による移行データの送信処理Ｐ１０００を説明する。まず、移行するデータを１次ストレージ２０１から取得する（ステップＳ１００１）。取得した移行データを、一定の行数で、ｎ個に分割する（ステップＳ１００２）。分割したデータを相互に関連付けるためのシリーズＩＤを生成し、送信順序を示す変数ｉを初期化する（ステップＳ１００３）。シリーズＩＤ、送出順序ｉを付加して分割されたｉ番目のデータを分割番号ｉのデータとして送出する（ステップＳ１００４）。ｉを１増加させる（ステップＳ１００５）。全ての分割データを送出したかを確認する（ステップＳ１００６）。全ての分割データを送出済みならば、そのシリーズＩＤでの送信処理を完了する。全てのデータを送出済みでなければ、ステップＳ１００４から送出処理を繰り返す。 With reference to FIG. 3, the migration data transmission process P1000 by the speed priority migration client 211 will be described. First, data to be migrated is acquired from the primary storage 201 (step S1001). The acquired migration data is divided into n pieces with a certain number of rows (step S1002). A series ID for associating the divided data with each other is generated, and a variable i indicating the transmission order is initialized (step S1003). The i-th data divided by adding the series ID and the transmission order i is transmitted as the data of the division number i (step S1004). i is increased by 1 (step S1005). It is confirmed whether all divided data have been transmitted (step S1006). If all the divided data have been transmitted, the transmission process with the series ID is completed. If all the data has not been sent, the sending process is repeated from step S1004.

図４を参照して、速度優先移行サーバ１１１による受信処理Ｐ１２００、格納処理Ｐ１２５０について説明する。まず、受信処理Ｐ１２００では、データ受信待ち状態となる（ステップＳ１２０１）。速度優先移行クライアント２１１から分割データを受信すると、分割データに付加されたシリーズＩＤを取り出し、新規シリーズＩＤか、現在格納処理中の既存シリーズＩＤかを調べる（ステップＳ１２０２）。新規シリーズＩＤの場合は、そのシリーズＩＤの分割データを処理するための格納処理Ｐ１２５０を新規に生成する（ステップＳ１２０３）。既存ＩＤの場合は、ステップＳ１２０３を実行しない。次に、受信した分割データを、当該分割データに付加されているシリーズＩＤ毎に、該当する格納処理に振り分ける（ステップＳ１２０４）。受信処理Ｐ１２００は、受信した分割データを、該当する格納処理に割り付けた後、ステップＳ１２０１へ戻り、データ受信を繰り返す。 With reference to FIG. 4, the reception process P1200 and the storage process P1250 by the speed priority transfer server 111 will be described. First, in the reception process P1200, a data reception wait state is entered (step S1201). When the divided data is received from the speed priority transfer client 211, the series ID added to the divided data is extracted, and it is checked whether it is a new series ID or an existing series ID currently being stored (step S1202). In the case of a new series ID, a storage process P1250 for processing the divided data of the series ID is newly generated (step S1203). If it is an existing ID, step S1203 is not executed. Next, the received divided data is distributed to the corresponding storage process for each series ID added to the divided data (step S1204). The reception process P1200 allocates the received divided data to the corresponding storage process, returns to step S1201, and repeats data reception.

図４において、処理すべき新規のシリーズＩＤの分割データを受信すると、新たに格納処理Ｐ１２５０が生成される。分割データを受信する場合、シリーズＩＤが複数あるときには、複数の格納処理Ｐ１２５０が平行に動作する。格納処理Ｐ１２５０は、新規に生成されると、受信処理Ｐ１２００からのデータ受信待ちとなる（ステップＳ１２５１）。受信処理Ｐ１２００から自分が処理すべきシリーズＩＤの分割データを受信することなく、受信待ち状態のまま一定時間が経過するとタイムアウトになる（ステップＳ１２５２）。タイムアウトになった場合には、順序保証のためにバッファ内に残っているデータを格納して（ステップＳ１２５７）、そのシリーズＩＤの格納処理を終了する。一方、データを正常に受信した場合には、次の処理へ進む（ステップＳ１２５２）。速度優先移行クライアント２１１で、分割データを送信順に格納するために受信データをバッファリングする（ステップＳ１２５３）。バッファ内を調べ、分割番号の順序どおりに格納できるデータがあるかチェックする（ステップＳ１２５４）。あれば、順序どおりに分割データを２次ストレージ１０１に格納する（ステップＳ１２５５）。なければ格納しない。次に、全ての分割データを受信したかを調べる（ステップＳ１２５６）。全て受信していれば、格納処理を終了する。一方、まだ受信すべきデータが残っていればステップＳ１２５１へ戻り、受信処理Ｐ１２００からの分割データの受信を待つ。 In FIG. 4, when the division data of a new series ID to be processed is received, a new storage process P1250 is generated. When receiving divided data, when there are a plurality of series IDs, a plurality of storage processes P1250 operate in parallel. When the storage process P1250 is newly generated, the process waits for data reception from the reception process P1200 (step S1251). Without receiving the series ID division data to be processed from the reception process P1200, a timeout occurs when a predetermined time elapses while waiting for reception (step S1252). If the timeout has occurred, the data remaining in the buffer is stored for order guarantee (step S1257), and the series ID storage processing is terminated. On the other hand, if the data is normally received, the process proceeds to the next process (step S1252). The speed priority transfer client 211 buffers received data in order to store the divided data in the order of transmission (step S1253). The buffer is checked to check whether there is data that can be stored in the order of the division numbers (step S1254). If there is, the divided data is stored in the secondary storage 101 in the order (step S1255). If not, do not store. Next, it is checked whether all divided data have been received (step S1256). If all have been received, the storage process ends. On the other hand, if there is still data to be received, the process returns to step S1251 to wait for reception of divided data from the reception process P1200.

速度優先移行クライアント２１１の送信処理Ｐ１０００と、速度優先移行サーバ１１１の受信処理Ｐ１２００と、格納処理Ｐ１２５０との間での動作を、図５に示すシーケンスチャートで説明する。送信処理Ｃ１０１０は、一次ストレージＣ１０００から移行データを取得し、データ分割およびシリーズＩＤ生成を行う。そして、分割データを連続して受信処理Ｃ１０２０へ送信する。受信処理Ｃ１０２０は常に動作しており、新規のシリーズＩＤをもつ分割データを受信したら、新規に格納処理Ｃ１０３０を起動する。その後、受信した分割データのシリーズＩＤに応じて、適切な格納処理Ｃ１０３０へ分割データを渡す。格納処理Ｃ１０３０では、受信した分割データをバッファリングする。そして、送信順に並べ替え、２次ストレージＣ１０４０に格納する。 Operations among the transmission process P1000 of the speed priority transfer client 211, the reception process P1200 of the speed priority transfer server 111, and the storage process P1250 will be described with reference to the sequence chart shown in FIG. The transmission process C1010 acquires migration data from the primary storage C1000, performs data division and series ID generation. Then, the divided data is continuously transmitted to the reception process C1020. The reception process C1020 is always operating, and when the divided data having the new series ID is received, the storage process C1030 is newly activated. Thereafter, the divided data is transferred to an appropriate storage process C1030 according to the series ID of the received divided data. In the storage process C1030, the received divided data is buffered. Then, the data is rearranged in the order of transmission and stored in the secondary storage C1040.

次に、高信頼移行クライアント２１２と、高信頼移行サーバ１１２との動作の一例について、図６及び図７の流れ図と、図８及び図９のシーケンスチャートを用いて説明する。 Next, an example of the operation of the highly reliable migration client 212 and the highly reliable migration server 112 will be described using the flowcharts of FIGS. 6 and 7 and the sequence charts of FIGS. 8 and 9.

高信頼移行クライアント２１２による移行データの送信処理Ｐ１１００を、図６で説明する。まず、移行するデータを１次ストレージ２０１から取得する（ステップＳ１１０１）。取得した移行データを一定の行数で、ｎ個に分割する（ステップＳ１１０２）。分割したデータを相互に関連付けるためのシリーズＩＤを生成し、送信順序を示す変数ｉを初期化する（ステップＳ１１０３）。シリーズＩＤ、送出順序ｉを付加して、ｉ番目の分割データを、分割番号ｉの分割データとして送出する（ステップＳ１１０４）。ｉを１増加させる（ステップＳ１１０５）。全ての分割データを送出したかを確認する（ステップＳ１１０６）。全ての分割データを送出済みでなければ、ステップＳ１１０４から送出処理を繰り返す。全てのデータを送出済みならば、高信頼移行サーバ１１２からのデータ格納確認の受信待ちとなる（ステップＳ１１０７）。受信待ち時間が終了した後、格納確認を受信したのか、受信待ちがタイムアウトしたのかで分岐する（ステップＳ１１０８）。タイムアウトが発生した場合、変数ｉに１を代入し、ステップＳ１１０４からの処理を再開して、始めから送信をやり直す（ステップＳ１１０９）。格納確認を受信した場合、格納確認に含まれる格納が完了した分割データの番号の最大値から、送信した分割データ全ての格納が完了したかどうかを判定する（ステップＳ１１１０）。受信側で、全ての分割データの格納処理が完了したことを確認した場合、そのシリーズＩＤでの送信処理を完了し、全ての分割データの格納処理が完了したことを確認できなければ、格納確認に含まれる格納が完了した分割データの番号の最大値＋１をｉに設定する。そして、ステップＳ１１０４からの処理を再開して、格納が未完となっている分割番号の分割データから、同一のシリーズＩＤで再度送信する（ステップＳ１１１１）。 The migration data transmission process P1100 by the highly reliable migration client 212 will be described with reference to FIG. First, data to be migrated is acquired from the primary storage 201 (step S1101). The acquired migration data is divided into n pieces with a certain number of rows (step S1102). A series ID for associating the divided data with each other is generated, and a variable i indicating the transmission order is initialized (step S1103). The series ID and the transmission order i are added, and the i-th divided data is transmitted as the divided data of the division number i (step S1104). i is increased by 1 (step S1105). It is confirmed whether all divided data have been transmitted (step S1106). If all the divided data have not been sent, the sending process is repeated from step S1104. If all the data has been transmitted, it waits for reception of data storage confirmation from the high-reliability migration server 112 (step S1107). After the reception waiting time ends, the process branches depending on whether a storage confirmation has been received or the reception wait timed out (step S1108). If a time-out occurs, 1 is substituted into the variable i, the processing from step S1104 is resumed, and transmission is restarted from the beginning (step S1109). When the storage confirmation is received, it is determined from the maximum value of the number of the divided data for which the storage included in the storage confirmation is completed, whether or not the storage of all the transmitted divided data is completed (step S1110). When the receiving side confirms that the storage processing for all the divided data has been completed, the transmission processing with that series ID is completed, and if the storage processing for all the divided data cannot be confirmed, the storage confirmation is performed. The maximum value +1 of the number of the divided data that has been stored is set to i. Then, the processing from step S1104 is restarted, and the same series ID is transmitted again from the divided data of the division number that has not been stored (step S1111).

高信頼移行サーバ１１２において実行される受信処理Ｐ１２１０と、格納処理Ｐ１２８０とについて、図７で説明する。まず、受信処理Ｐ１２１０は、データ受信待ち状態となる（ステップＳ１２１１）。高信頼移行クライアント２１２から分割データを受信すると、分割データに付加されたシリーズＩＤを取り出し、新規シリーズＩＤか、現在格納処理中の既存シリーズＩＤかを調べる（ステップＳ１２１２）。新規シリーズＩＤの場合は、そのシリーズＩＤの分割データを処理するための格納処理Ｐ１２８０を、新規に生成する（ステップＳ１２１３）。既存ＩＤの場合は、ステップＳ１２１３を実行しない。次に、分割データに付加されるシリーズＩＤ毎に、受信した分割データを、該当する格納処理に振り分ける（ステップＳ１２１４）。受信処理Ｐ１２１０は、受信した分割データを該当する格納処理に割り付けた後、ステップＳ１２１１へ戻り、データ受信を繰り返す。 The reception process P1210 and the storage process P1280 executed in the highly reliable migration server 112 will be described with reference to FIG. First, the reception process P1210 enters a data reception waiting state (step S1211). When the divided data is received from the high-reliability migration client 212, the series ID added to the divided data is taken out, and it is checked whether it is a new series ID or an existing series ID currently being stored (step S1212). In the case of a new series ID, a storage process P1280 for processing the divided data of the series ID is newly generated (step S1213). If it is an existing ID, step S1213 is not executed. Next, the received divided data is distributed to the corresponding storage processing for each series ID added to the divided data (step S1214). The reception process P1210 allocates the received divided data to the corresponding storage process, and then returns to step S1211 to repeat data reception.

処理すべき新規シリーズＩＤを有する分割データを受信すると、新たに格納処理Ｐ１２８０が生成される。分割データを受信する場合、シリーズＩＤが複数あるときには、複数の格納処理Ｐ１２８０が平行に動作する。格納処理Ｐ１２８０は、生成されると、受信処理Ｐ１２１０からのデータ受信待ちとなる（ステップＳ１２８１）。受信処理Ｐ１２１０から自分が処理すべきシリーズＩＤの分割データを受信することなく、受信待ち状態のまま一定時間が経過するとタイムアウトになる（ステップＳ１２８２）。タイムアウトになった場合には、ステップＳ１２８７へ飛ぶ。一方、分割データを受信した場合には、次の処理へ進む（ステップＳ１２８２）。分割データを正常に受信した場合、高信頼移行クライアント２１２での送信順に、データの格納を行うために、受信データをバッファリングする（ステップＳ１２８３）。バッファ内を調べ、分割番号の順序どおりに格納できるデータがあるかをチェックする（ステップＳ１２８４）。あれば、順序どおりに分割データを２次ストレージ１０１に格納する（ステップＳ１２８５）。なければ格納しない。次に、全ての分割データを受信したかを調べる（ステップＳ１２８６）。未だ、受信すべき分割データが残っていれば、ステップＳ１２８１へ戻り、受信処理Ｐ１２１０からの分割データの受信を待つ。既に全ての分割データを受信していれば、次の処理へ進む。分割データを順序どおりに格納することができた場合、分割番号の最大値を格納確認メッセージに付加し、高信頼移行クライアント２１２の送信処理Ｐ１１００へ返信する（ステップＳ１２８７）。同時に、格納できた分割データにおける分割番号ｉの最大値が、分割総数と一致しているかどうかを確認する（ステップＳ１２８８）。その結果、全ての分割データが格納済みであると確認できたならば格納処理を終了する。一方、未格納の分割データが残っていれば、ステップＳ１２８１へ戻って、受信を繰り返す。 When division data having a new series ID to be processed is received, a new storage process P1280 is generated. When receiving divided data, when there are a plurality of series IDs, a plurality of storage processes P1280 operate in parallel. When the storage process P1280 is generated, it waits for data reception from the reception process P1210 (step S1281). Without receiving the series ID division data to be processed from the reception process P1210, a timeout occurs when a predetermined time elapses while waiting for reception (step S1282). If the timeout has occurred, the process jumps to step S1287. On the other hand, when the divided data is received, the process proceeds to the next process (step S1282). When the divided data is normally received, the received data is buffered in order to store the data in the order of transmission by the high-reliability migration client 212 (step S1283). The buffer is examined to check whether there is data that can be stored in the order of the division numbers (step S1284). If there is, the divided data is stored in the secondary storage 101 in the order (step S1285). If not, do not store. Next, it is checked whether all divided data have been received (step S1286). If the divided data to be received still remains, the process returns to step S1281 to wait for reception of the divided data from the reception process P1210. If all the divided data have already been received, the process proceeds to the next process. When the divided data can be stored in order, the maximum value of the division number is added to the storage confirmation message and returned to the transmission process P1100 of the high-reliability migration client 212 (step S1287). At the same time, it is confirmed whether or not the maximum value of the division number i in the stored divided data matches the total number of divisions (step S1288). As a result, if it can be confirmed that all the divided data have been stored, the storage process is terminated. On the other hand, if unstored divided data remains, the process returns to step S1281 to repeat reception.

高信頼移行クライアント２１２の送信処理Ｐ１１００と、高信頼移行サーバ１１２の受信処理Ｐ１２１０と、格納処理Ｐ１２８０との間における正常系の動作を、図８に示すシーケンスチャートで説明する。送信処理Ｃ１１１０は、一次ストレージから移行データを取得し、データ分割およびシリーズＩＤ生成を行って、分割データを連続して受信処理Ｃ１１２０へ送信する。受信処理Ｃ１１２０は、常に動作しており、新規のシリーズＩＤを持つ分割データを受信したら、新規に格納処理Ｃ１１３０を起動する。その後、受信したデータのシリーズＩＤに応じて、適切な格納処理Ｃ１１３０へ分割データを渡す。格納処理Ｃ１１３０では、受信した分割データをバッファリングする。そして、送信順に並べ替え、２次ストレージＣ１１４０に格納する。格納処理完了後、格納確認メッセージに、格納できた分割番号の最大値Ｍを付加して、送信処理Ｃ１１１０へ返信する。送信処理Ｃ１１１０は、格納できた分割番号の最大値がＭであることから、送信した分割データが、全て二次ストレージに格納されたことを確認して、処理を終了する。 The normal operation among the transmission process P1100 of the highly reliable migration client 212, the reception process P1210 of the highly reliable migration server 112, and the storage process P1280 will be described with reference to the sequence chart shown in FIG. The transmission process C1110 acquires migration data from the primary storage, performs data division and series ID generation, and continuously transmits the divided data to the reception process C1120. The reception process C1120 is always operating, and when the divided data having a new series ID is received, the storage process C1130 is newly activated. Thereafter, the divided data is transferred to an appropriate storage process C1130 according to the series ID of the received data. In the storage process C1130, the received divided data is buffered. Then, the data is rearranged in the order of transmission and stored in the secondary storage C1140. After the completion of the storage process, the maximum value M of the division numbers that can be stored is added to the storage confirmation message and returned to the transmission process C1110. Since the maximum value of the division number that can be stored is M, the transmission process C1110 confirms that all the transmitted divided data has been stored in the secondary storage, and ends the process.

高信頼移行クライアント２１２の送信処理Ｐ１１００と、高信頼移行サーバ１１２の受信処理Ｐ１２１０と、格納処理Ｐ１２８０との間で、データ落ちが発生した異常系の動作を、図９に示すシーケンスチャートで説明する。送信処理Ｃ１２１０は、一次ストレージＣ１２００から移行データを取得し、データ分割およびシリーズＩＤ生成を行って、分割データを連続して受信処理Ｃ１２２０へ送信する。受信処理Ｃ１２２０は、常に動作しており、新規のシリーズＩＤを持つ分割データを受信したら、新規に格納処理Ｃ１２３０を起動する。その後、受信したデータのシリーズＩＤに応じて、適切な格納処理Ｃ１２３０へ分割データを渡す。格納処理Ｃ１２３０では、受信した分割データをバッファリングする。そして、送信順に並べ替え、２次ストレージＣ１２４０に格納する。しかし、分割番号ｍのデータが何らかの理由で送信処理Ｃ１２１０と、受信処理Ｃ１２２０との間で消失したとする。この場合、分割データは、送信順を示す分割番号の順に格納するという観点から、分割番号ｍ＋１以降のデータは格納処理Ｃ１２３０に到着しても、２次ストレージには格納できない。最終的に分割番号ｍのデータが受信できないため、タイムアウトが発生し、格納処理Ｃ１２３０では、格納できた分割番号の最大値ｍ−１を付加した格納確認メッセージを送信処理Ｃ１２１０へ返信する。送信処理Ｃ１２１０では、格納処理Ｃ１２３０からの格納確認メッセージに付加された分割番号の最大値ｍ−１を参照する。そして、全ての分割データの格納が完了していないことを知り、分割番号ｍのデータから順に再送を行い、再度格納確認メッセージを待つ。 An operation of an abnormal system in which data loss has occurred among the transmission process P1100 of the high-reliability migration client 212, the reception process P1210 of the high-reliability migration server 112, and the storage process P1280 will be described with reference to the sequence chart shown in FIG. . The transmission process C1210 acquires migration data from the primary storage C1200, performs data division and series ID generation, and continuously transmits the divided data to the reception process C1220. The reception process C1220 is always operating, and when the divided data having a new series ID is received, the storage process C1230 is newly activated. Thereafter, the divided data is transferred to an appropriate storage process C1230 according to the series ID of the received data. In the storage process C1230, the received divided data is buffered. Then, the data is rearranged in the order of transmission and stored in the secondary storage C1240. However, it is assumed that the data of the division number m is lost between the transmission process C1210 and the reception process C1220 for some reason. In this case, from the viewpoint of storing the divided data in the order of the division numbers indicating the transmission order, the data after the division number m + 1 cannot be stored in the secondary storage even if it arrives at the storage process C1230. Since the data of the division number m cannot be received finally, a time-out occurs, and the storage process C1230 returns a storage confirmation message to which the maximum value m−1 of the stored division numbers is added to the transmission process C1210. In the transmission process C1210, the maximum value m−1 of the division number added to the storage confirmation message from the storage process C1230 is referred to. Then, knowing that storage of all the divided data has not been completed, retransmission is performed in order from the data of the division number m, and a storage confirmation message is awaited again.

次に、第一の実施の形態の効果について説明する。本実施の形態では、１次ストレージと、２次ストレージとの間におけるデータ移行の方式が、複数系統ある。第一の方式では、計算機、ネットワーク資源をそれほど消費しない速度優先移行処理を実行する。第二の方式では、計算機、ネットワーク資源をかなり消費するが、確実に全てのデータ移行を完了させることが可能な高信頼移行処理を実行する。また、あらかじめ、２次ストレージに格納すべきデータを、どのように移行するかを記述したルールを登録する機能と、１次ストレージの残り容量と、あらかじめ登録したルールとに基づいて、自動的にデータ移行を開始する機能とを備える。そのため、データの重要度に応じて、計算機、ネットワーク資源を有効に活用した移行処理を、自動的に行うことができる。 Next, the effect of the first embodiment will be described. In this embodiment, there are a plurality of systems for data migration between the primary storage and the secondary storage. In the first method, a speed priority transfer process that consumes less computer and network resources is executed. In the second method, a computer and network resources are consumed considerably, but a highly reliable migration process capable of reliably completing all data migration is executed. In addition, based on a function for registering rules that describe how data to be stored in the secondary storage is migrated in advance, the remaining capacity of the primary storage, and rules that have been registered in advance, And a function for starting data migration. Therefore, it is possible to automatically perform migration processing that effectively uses computers and network resources according to the importance of data.

＝＝第二の実施の形態＝＝
次に、本発明による第二の実施の形態を、図１０で説明する。図１０のフロントサーバ２５０は、図１のフロントサーバ２００における各部に加えて、フロントサーバ２５０が致命的な状況にあることを監視する緊急状況監視部２６０と、緊急移行処理管理部２３５とが追加されている。図１０において、利用者は、通常時とは異なる緊急時の移行方法を、移行方法設定ＡＰＩ２２０を介して、事前にルールセットとして登録する。緊急状況監視部２６０は、天災、事故などの原因で、フロントサーバ２５０のハードウエア、オペレーティングシステム、ミドルウェアなどに異常が発生し、緊急にデータの移行処理を行う必要が生じたことを検知すると共に、その旨を、緊急移行処理管理部２３５へ通知する。緊急移行処理管理部２３５は、この通知を契機として、移行処理を開始する。この場合は、ルールセットとして登録され、通常時とは異なる移行方法に従って、移行処理が行なわれる。図１０の例では、１次ストレージ２０１における格納領域の圧迫時に加えて、致命的な障害発生時にも、選択的なデータ移行を自動的に行うことができる。 == Second Embodiment ==
Next, a second embodiment according to the present invention will be described with reference to FIG. The front server 250 in FIG. 10 includes an emergency situation monitoring unit 260 that monitors that the front server 250 is in a fatal situation and an emergency transition process management unit 235 in addition to the parts in the front server 200 in FIG. Has been. In FIG. 10, the user registers an emergency transition method different from the normal time as a rule set in advance via the transition method setting API 220. The emergency situation monitoring unit 260 detects that an abnormality has occurred in the hardware, operating system, middleware, and the like of the front server 250 due to a natural disaster, an accident, and the like, and it is necessary to perform an urgent data migration process. This is notified to the emergency transition processing management unit 235. The emergency migration process management unit 235 starts the migration process in response to this notification. In this case, the migration process is performed according to a migration method that is registered as a rule set and is different from the normal method. In the example of FIG. 10, selective data migration can be automatically performed when a fatal failure occurs in addition to when the storage area in the primary storage 201 is compressed.

次に、具体的な実施例を用いて、本発明による分散データストレージシステムについて説明する。図１１は、本発明による分散データストレージシステムの応用例を示す図である。図１１において、センタサーバは、２次ストレージ１０４を有すると共に、図１に示した移行サーバ１１０を具備する。また、センタサーバ１０３にデータを移行するフロントサーバとして、ホームサーバ２０３及び車載サーバ２０４が例示されている。ホームサーバ２０３は、１次ストレージ２０５を有すると共に、図１に示した移行クライアント２１０を具備する。車載サーバ２０４は、１次ストレージ２０６を有すると共に、図１に示した移行クライアント２１０を具備する。ホームサーバ２０３には、センサデータを送出するエアコン３０１と、監視カメラ３０２と、水道メータ３０３と、その他の不図示の機器とが接続されている。また、車載サーバ２０４には、センサデータを送出するガソリン残量計３０４と、カーナビゲーション３０５と、速度計３０６と、その他の不図示の機器とが接続されている。 Next, a distributed data storage system according to the present invention will be described using a specific embodiment. FIG. 11 is a diagram showing an application example of the distributed data storage system according to the present invention. 11, the center server has the secondary storage 104 and includes the migration server 110 shown in FIG. Further, a home server 203 and an in-vehicle server 204 are illustrated as front servers for transferring data to the center server 103. The home server 203 includes a primary storage 205 and includes the migration client 210 illustrated in FIG. The in-vehicle server 204 includes a primary storage 206 and includes the migration client 210 illustrated in FIG. The home server 203 is connected to an air conditioner 301 that transmits sensor data, a monitoring camera 302, a water meter 303, and other devices (not shown). The in-vehicle server 204 is connected to a gasoline fuel gauge 304 for sending sensor data, a car navigation 305, a speedometer 306, and other devices not shown.

ホームサーバ２０３は、電気メータ、水道メータ３０３、ガスメータ、マイコン内蔵家電、セキュリティ装置などからセンサデータを随時受信し、各種設備及び機器の使用状況などを記録する。センサデータは、ホームサーバ２０３内の１次ストレージ２０５に随時記録される。１次ストレージ２０５の残り容量が少なくなると、センサデータの重要度に応じて、データセンタ内のセンタサーバ１０３へ、データが自動的に移行される。ホームサーバ２０３は、電気使用量、水道使用量、家屋設備使用状況などを、例えば、毎分記録する。しかしながら、センタサーバ１０３に対しては、膨大な記録情報のうち、日次の記録のみが高信頼移行方法で送信される。これによって、外出先からの問い合わせに対しては、分単位の解像度で家電等の使用状況などを見ることができ、かつ、日次のデータのみを信頼性の高い方法で、自動的にセンタサーバ１０３へ移行することにより、永続記録として残すことができる。また、緊急時の移行処理では、ホームサーバ２０３に蓄積された種々雑多な大量のデータのうち、電子化された権利書類などの資産に係る重要データを最優先とする。次に、事前に選択された家族写真などのデジタルデータを第二の優先順位で、優先的に移行する。これによって、火災、自然災害などに伴った資産、権利書類などの重要データや、本質的に復元不可能な重要データの消失を最小限に抑えることができる。 The home server 203 receives sensor data from an electric meter, a water meter 303, a gas meter, a microcomputer built-in home appliance, a security device, and the like as needed, and records the usage status of various facilities and devices. The sensor data is recorded in the primary storage 205 in the home server 203 as needed. When the remaining capacity of the primary storage 205 decreases, the data is automatically transferred to the center server 103 in the data center according to the importance of the sensor data. The home server 203 records, for example, the amount of electricity used, the amount of water used, the usage status of house facilities, and the like every minute. However, only the daily record of the enormous amount of record information is transmitted to the center server 103 by the highly reliable migration method. As a result, in response to inquiries from outside the office, the usage status of home appliances can be viewed at minute resolutions, and only the daily data is automatically sent to the center server in a reliable manner. By moving to 103, it can be left as a permanent record. In the emergency migration process, the important data related to assets such as digitized rights documents among the various miscellaneous large amounts of data stored in the home server 203 is given the highest priority. Next, pre-selected digital data such as family photos are preferentially transferred with the second priority. As a result, it is possible to minimize the loss of important data such as assets and rights documents accompanying fires and natural disasters, and important data that cannot be essentially restored.

図１１において、車載サーバ２０４は、ガソリン残量、走行位置、速度、機器動作状況などのセンサデータを受信する。受信したセンサデータは、車載サーバ２０４内の１次ストレージ２０６に一定期間保存される。そして、１次ストレージ２０６の残り容量が少なくなると、データの重要度に応じて、無線その他の方法で、データセンタ内のセンタサーバ１０３へ、センサデータが自動的に移行される。例えば、走行位置については、停止時間が一定時間以上の場所のみが、高信頼移行方法でセンタサーバに格納される。それ以外の走行位置は、速度優先移行方法で移行される。これによって、少なくとも一定時間以上停止した位置の走行履歴は確実に残ることになる。その間の走行位置を記録するセンサデータは、確実な移行を保証されていないが、走行履歴を補完するデータとして、可能な限り記録される。これによって、センタサーバ１０３は、計算機、ネットワーク資源を効率的に利用して走行情報を収集することができる。また、複数の自動車から収集した走行位置のセンサデータを統計的に処理すれば、渋滞予測などに活用することができる。個人の走行履歴に関するセンサデータは、ドライブの記録などとして利用したりできる。また、緊急時の移行処理では、種々雑多な車載センサデータのうち、例えば、走行位置、同乗人数、直前の速度、車載カメラによる周辺画像を最優先でセンタサーバ１０３に移行する。これによって、事故発生時の事故通報に必要な情報、事故原因、目撃者情報などを自動的に収集することができる。 In FIG. 11, the in-vehicle server 204 receives sensor data such as the gasoline remaining amount, the travel position, the speed, and the device operation status. The received sensor data is stored in the primary storage 206 in the in-vehicle server 204 for a certain period. When the remaining capacity of the primary storage 206 decreases, the sensor data is automatically transferred to the center server 103 in the data center by wireless or other methods according to the importance of the data. For example, as for the travel position, only locations where the stop time is equal to or longer than a certain time are stored in the center server by the highly reliable transition method. The other travel positions are transferred by the speed priority transfer method. As a result, the travel history at the position where the vehicle has stopped for at least a certain time is surely left. The sensor data for recording the travel position in the meantime is not guaranteed a certain transition, but is recorded as much as possible as data that complements the travel history. As a result, the center server 103 can collect travel information by efficiently using computers and network resources. In addition, if sensor data of travel positions collected from a plurality of automobiles is statistically processed, it can be used for traffic jam prediction. Sensor data relating to a personal driving history can be used as a drive record. Further, in the transition process in an emergency, among various in-vehicle sensor data, for example, the traveling position, the number of passengers, the immediately preceding speed, and the peripheral image by the in-vehicle camera are transferred to the center server 103 with the highest priority. This makes it possible to automatically collect information necessary for reporting an accident at the time of the accident, the cause of the accident, witness information, and the like.

本発明によれば、複数のセンサから構成されるセンサネットワークにおいて、雑多なセンサデータの収集、管理といった用途に適用できる。特に、ホームサーバによる家電、ホームセキュリティ機器の監視、車載サーバによる交通情報の収集、統計処理による２次利用といった用途に適用可能である。 According to the present invention, in a sensor network composed of a plurality of sensors, the present invention can be applied to various uses such as collection and management of sensor data. In particular, it can be applied to applications such as home appliance monitoring by a home server, monitoring of home security devices, collection of traffic information by an in-vehicle server, and secondary use by statistical processing.

図１は、本発明による第一の発明を実施するための最良の形態の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of the best mode for carrying out the first invention according to the present invention. 図２は、本発明におけるデータ移行方法指定のルールセットの一実施例を示す図である。FIG. 2 is a diagram showing an embodiment of a rule set for designating a data migration method in the present invention. 図３は、本発明における速度優先移行クライアントの動作を示す流れ図である。FIG. 3 is a flowchart showing the operation of the speed priority shift client according to the present invention. 図４は、本発明における速度優先移行サーバの動作を示す流れ図である。FIG. 4 is a flowchart showing the operation of the speed priority transfer server in the present invention. 図５は、本発明における速度優先移行方式でのデータ移行を示すチャート図である。FIG. 5 is a chart showing data transfer in the speed priority transfer method according to the present invention. 図６は、本発明における高信頼移行クライアントの動作を示す流れ図である。FIG. 6 is a flowchart showing the operation of the reliable migration client according to the present invention. 図７は、本発明における高信頼移行サーバの動作を示す流れ図である。FIG. 7 is a flowchart showing the operation of the reliable migration server in the present invention. 図８は、本発明における高信頼移行方式での、正常時のデータ移行を示すチャート図である。FIG. 8 is a chart showing normal data migration in the highly reliable migration method according to the present invention. 図９は、本発明における高信頼移行方式での、異常時のデータ移行を示すチャート図である。FIG. 9 is a chart showing data migration at the time of abnormality in the highly reliable migration method in the present invention. 図１０は、本発明による第二の発明を実施するための最良の形態の構成を示すブロック図である。FIG. 10 is a block diagram showing the configuration of the best mode for carrying out the second invention according to the present invention. 図１１は、本発明の応用例を示す図である。FIG. 11 is a diagram showing an application example of the present invention.

Explanation of symbols

１００，１０３センタサーバ
１０１，１０４２次ストレージ
１１０移行サーバ
１１１速度優先移行サーバ
１１２高信頼移行サーバ
１２０，２２０移行方法設定ＡＰＩ
２００，２５０フロントサーバ
２０１，２０５，２０６１次ストレージ
２０３ホームサーバ
２０４車載サーバ
２１０移行クライアント
２１１速度優先移行クライアント
２１２高信頼移行クライアント
２２１移行方法設定部
２３０移行処理管理部
２３５緊急移行処理管理部
２４０容量監視部
２６０緊急状況監視部
３００ストレージ格納ＡＰ
３０１エアコン
３０２監視カメラ
３０３水道メータ
３０４ガソリン残量計
３０５カーナビゲーション
３０６速度計
Ｃ１０００，Ｃ１１００，Ｃ１２００１次ストレージ動作チャート
Ｃ１０１０，Ｃ１１１０，Ｃ１２１０送信処理動作チャート
Ｃ１０２０，Ｃ１１２０，Ｃ１２２０受信処理動作チャート
Ｃ１０３０，Ｃ１１３０，Ｃ１２３０格納処理動作チャート
Ｃ１０４０，Ｃ１１４０，Ｃ１２４０２次ストレージ動作チャート
Ｐ１０００，Ｐ１１００移行データ送信処理
Ｐ１２００，Ｐ１２１０移行データ受信処理
Ｐ１２５０，Ｐ１２８０移行データ格納処理
Ｒ１００ルールセット
Ｒ１０１〜１０３移行方法指定形式
Ｓ１００１〜１００６，Ｓ１１０１〜１１１１移行データ送信手順
Ｓ１２０１〜１２０４，Ｓ１２１１〜１２１４移行データ受信手順
Ｓ１２５１〜１２５７，Ｓ１２８１〜１２８８移行データ格納手順 100, 103 Center server 101, 104 Secondary storage 110 Migration server 111 Speed priority migration server 112 Reliable migration server 120, 220 Migration method setting API
200, 250 Front server 201, 205, 206 Primary storage 203 Home server 204 In-vehicle server 210 Migration client 211 Speed priority migration client 212 Reliable migration client 221 Migration method setting unit 230 Migration processing management unit 235 Emergency migration processing management unit 240 Capacity Monitoring unit 260 Emergency situation monitoring unit 300 Storage storage AP
301 Air Conditioner 302 Monitoring Camera 303 Water Meter 304 Gasoline Fuel Level Meter 305 Car Navigation 306 Speed Meter C1000, C1100, C1200 Primary Storage Operation Chart C1010, C1110, C1210 Transmission Processing Operation Chart C1020, C1120, C1220 Reception Processing Operation Chart C1030, C1130 , C1230 Storage processing operation chart C1040, C1140, C1240 Secondary storage operation chart P1000, P1100 Migration data transmission processing P1200, P1210 Migration data reception processing P1250, P1280 Migration data storage processing R100 Rule set R101-103 Migration method specification format S1001-1006 , S1101-1111 Migration data transmission procedure S1201-1204, S1211-112 4 migration data receiving procedure S1251~1257, S1281~1288 migration data storage procedure

Claims

An application section for sending data;
A primary data storage system for storing the data transmitted from the application unit;
A secondary data storage system;
A first data migration unit for migrating the data from the primary data storage system to the secondary data storage system;
A second data migration unit for migrating the data from the primary data storage system to the secondary data storage system;
The first data migration unit
Has the first data migration function to execute the migration process to confirm the data migration completion,
The second data migration unit
A distributed data storage system having a second data migration function for executing migration processing that does not guarantee completion of data migration.

The second data migration function is configured such that when a part of data transmitted / received between the primary data storage system and the secondary data storage system is lost, the lost part of the data is transferred to the primary data storage system. The distributed data storage system according to claim 1, wherein the data storage system does not have a retransmission function for retransmitting data to the secondary data storage system.

The first data migration function is configured such that when a part of data transmitted / received between the primary data storage system and the secondary data storage system is missing, the missing data is transferred to the primary data storage function. The distributed data storage system according to claim 1, further comprising a retransmission function for retransmitting data from the data storage system to the secondary data storage system.

The data stored in the primary data storage system is transferred to the secondary data storage system by the first data transfer unit, or the data stored in the primary data storage system is transferred to the second data storage system. A migration method setting unit for holding setting information indicating whether to migrate to the secondary data storage system by the data migration unit;
Migration that refers to the setting information held in the migration method setting unit and selects whether certain data is migrated by the first data migration unit or the second data migration unit The distributed data storage system according to claim 1, further comprising a processing management unit.

A capacity monitoring unit for monitoring the capacity of data stored in the primary data storage system;
The distributed data storage system according to claim 4, wherein the capacity monitoring unit instructs the migration processing management unit to start data migration processing when the capacity exceeds a predetermined threshold.

An emergency monitoring unit that detects the occurrence of a fatal problem in the primary data storage system;
When notified from the emergency situation monitoring unit that a fatal problem has occurred, the emergency transition processing management unit for notifying the transition processing management unit to that effect,
The migration method setting unit does not migrate the data stored in the primary data storage system to the secondary data storage system in an emergency, or the data stored in the primary data storage system is Whether the data is transferred to the secondary data storage system by the data transfer unit, or the data stored in the primary data storage system is transferred to the secondary data storage system by the second data transfer unit Holds emergency setting information indicating
In the event of an emergency, the migration process management unit refers to the emergency setting information held in the migration method setting unit and does not migrate certain data to the secondary data storage system, or the first The distributed data storage system according to claim 4 or 5, wherein the data migration unit selects whether the migration is performed by the data migration unit or the second data migration unit.

A first program for executing a migration process for migrating data to the secondary data storage system in the primary data storage system, and a migration process for migrating the data to the secondary data storage system in the primary data storage system And a second program for executing
The first program is:
Dividing data to be transferred from the primary data storage system to the secondary data storage system into n pieces of divided data;
Transmitting the divided data i (i = 1, 2,..., N) from the primary data storage system to the secondary data storage system;
A procedure for retransmitting the divided data m when notified from the secondary data storage system that there was divided data m (1 ≦ m ≦ n) that could not be received;
If the secondary data storage system is notified that all the divided data i (i = 1, 2,..., N) has been received, the computer executes a procedure for ending the data migration process. Let
The second program is:
Dividing data to be transferred from the primary data storage system to the secondary data storage system into n pieces of divided data;
Transmitting the divided data i (i = 1, 2,..., N) from the primary data storage system to the secondary data storage system;
A program for causing a computer to execute a procedure for ending the data migration processing when all the divided data i (i = 1, 2,..., N) are transmitted.

A third program for executing a migration process for migrating data from the primary data storage system in the secondary data storage system, and a migration process for migrating the data from the primary data storage system in the secondary data storage system And a fourth program for executing
The third program is:
A procedure of receiving divided data i (i = 1, 2,..., N) obtained by dividing data to be transferred from the primary data storage system to the secondary data storage system into n pieces;
A procedure for confirming whether all of the divided data i (i = 1, 2,..., N) have been received;
A procedure for notifying the primary data storage system when it is detected that there is divided data m (1 ≦ m ≦ n) that could not be received;
Receiving the divided data m to be retransmitted;
When all of the divided data i (i = 1, 2,..., N) have been received, the fact is notified to the primary data storage system, and the procedure for ending the migration process is executed by the computer,
The fourth program is
A procedure of receiving divided data i (i = 1, 2,..., N) obtained by dividing data to be transferred from the primary data storage system to the secondary data storage system into n pieces;
When there is divided data m that cannot be received (1 ≦ m ≦ n), if the divided data m is not received even after waiting for reception of the divided data m for a predetermined time, a procedure for setting a timeout ,
When all the divided data i (i = 1, 2,..., N) can be received, or not all the divided data i (i = 1, 2,..., N) can be received. A program for causing a computer to execute a procedure for ending the data migration process when a time-out occurs for divided data that has not been processed.

A recording medium on which the program according to claim 7 or 8 is recorded.

A migration client in which both the first program and the second program according to claim 7 are operated by a computer.

A migration server in which both the third program and the fourth program according to claim 8 are operated by a computer.

A primary storage for storing sensor data indicating the device usage status sent from the home appliance;
Both the first program and the second program according to claim 7 are operated by a computer,
The first program executes a migration process for migrating sensor data stored in the primary storage to a secondary data storage system,
The second program is a home server that executes a migration process for migrating sensor data stored in the primary storage to a secondary data storage system.

A primary storage for storing sensor data indicating a traveling position sent from a position measuring device installed in the automobile;
Both the first program and the second program according to claim 7 are operated by a computer,
The first program executes a migration process for migrating the sensor data stored in the primary storage to a secondary data storage system,
The second program executes a migration process for migrating the sensor data stored in the primary storage to a secondary data storage system.