JP2016136653A - データ集約システム、データ集約プログラム、及びデータ集約方法 - Google Patents

データ集約システム、データ集約プログラム、及びデータ集約方法 Download PDF

Info

Publication number
JP2016136653A
JP2016136653A JP2015010779A JP2015010779A JP2016136653A JP 2016136653 A JP2016136653 A JP 2016136653A JP 2015010779 A JP2015010779 A JP 2015010779A JP 2015010779 A JP2015010779 A JP 2015010779A JP 2016136653 A JP2016136653 A JP 2016136653A
Authority
JP
Japan
Prior art keywords
data
transmission
unit
amount
time slot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015010779A
Other languages
English (en)
Other versions
JP6459548B2 (ja
Inventor
貴稔 北野
Takatoshi Kitano
貴稔 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015010779A priority Critical patent/JP6459548B2/ja
Publication of JP2016136653A publication Critical patent/JP2016136653A/ja
Application granted granted Critical
Publication of JP6459548B2 publication Critical patent/JP6459548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

【課題】期限内にデータの集約を完了できるデータ集約システムを提供すること。
【解決手段】一又は複数のデータ送信部から構成されるデータ送信部群と、データの送信期限が近づくほど、前記データ送信部群が送信するデータの送信量を単調減少させる制御部と、前記データ送信部群から送信されるデータを受信するデータ集約部と、を備える。
【選択図】 図1

Description

本発明は、一又は複数のデータ送信部から送信されるデータを集約するためのデータ集約システム、データ集約プログラム、及びデータ集約方法に関する。
データ集約システムとは、例えばアプリケーションにおいてデータの出力が行われる場合に、データ送信部が定期的にアプリケーションから受け取ったデータを送信し、データ集約部にて送信されたデータを集約するシステムである。特に、データ集約部が複数のデータ送信部からのデータを受信する場合には、各データ送信部のデータ送信タイミングを調節することで、データ集約部およびデータ送信部が過負荷となることを防ぎ、効率的にデータ集約を行う必要がある。そのようなログ集約システムの一例が特許文献1および特許文献2に記載されている。
特許文献1では、データ集約システムに相当するシステムが、クライアントおよびサーバにより構成されている。クライアント内のクライアントモジュールは、サーバ内のスケジュール設定部で設定されたスケジュール指定情報に基づき、クライアントのマシン情報を収集してサーバに送信する。スケジュール指定情報は、クライアントのマシン情報を収集する時刻、マシン負荷が低いときにマシン情報を送信するか否か、などを指定している。
特許文献2では、データ集約システムに相当するシステムが、センサ、データ集約装置、およびセンサからのデータをデータ集約装置に送信するゲートウェイ装置により構成されている。ゲートウェイ装置は、センサから送信されたデータを一時的に蓄積するキューバッファを備えており、データ集約装置が作成したスケジュールに従ってキューバッファに蓄積されたデータをデータ集約装置に送信する。データ集約装置は、センサデータ用キューの使用状況に基づいて、データを送信するタイミングであるタイムリソースを決定し、各ゲートウェイ装置に対するスケジュールを作成する。
非特許文献1では、ネットワークにおいてデータの輻輳が発生した際に、再送のタイミングが集中しないよう、データ再送の時間間隔を指数的に増やすことが記載されている。
特開2001−306511号公報 特許第4574600号 B.-J. Kwak, N.-O. Song and L. E. Miller "Analysis of the stability and performance of exponential backoff",Proc. IEEE WCNC, 2003, vol. 3, pp.1754-1759
ところで、集約されたデータはデータ収集の目的に応じて分析・利用されるため、データの送信期限が設けられていることが多い。また、送信期限までの残り時間が短くなってから再送が発生すると、残り時間で送信すべきデータ量が、再送発生時点から送信期限までの間の最大送信可能データ量を超過してしまい、送信期限までにデータの送信を完了できないことがあった。しかし、特許文献1、2及び非特許文献1に記載のデータ集約システムでは、送信期限までの残り時間が短くなってから再送が発生することがあり、送信期限までにデータの送信を完了できないという問題点があった。
そこで、本発明の目的は、期限内にデータの集約を完了できるデータ集約システムを提供することにある。
本発明の第一のシステムは、一又は複数のデータ送信部から構成されるデータ送信部群と、データの送信期限が近づくほど、前記データ送信部群が送信するデータの送信量を単調減少させる制御部と、前記データ送信部群から送信されるデータを受信するデータ集約部と、を備える。
本発明によれば、期限内にデータの集約を完了できるデータ集約システムを提供することができる。
第一実施形態の構成を示すブロック図である。 第一実施形態のハードウェア構成を示すブロック図である。 第二実施形態の構成を示すブロック図である。 送信スケジュールの一例を示す説明図である。 データ収集部11の動作の一例を示すフローチャートである。 データ集約部12の動作の一例を示すフローチャートである。 第三実施形態の構成を示すブロック図である。 データ収集サーバリストの一例を示す説明図である。 空の送信スケジュールの一例を示す説明図である。 送信タイムスロット決定部133の動作の一例を示すフローチャートである。 スケジュール基本設定の一例を示す説明図である。 送信スケジュールの一例を示す説明図である。 送信スケジュール作成部116の動作の一例を示すフローチャートである。 割当て基本設定の一例を示す説明図である。 送信スケジュールの一例を示す説明図である。 更新された送信スケジュールの一例を示す説明図である。 データ圧縮部117の動作の一例を示すフローチャートである。 送信スケジュール作成部116の動作の一例を示すフローチャートである。 更新された送信スケジュールの一例を示す説明図である。
以下に、図面を参照して、本発明の実施の形態について詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらに限定する趣旨のものではない。
(第一実施形態)
(第一実施形態の構成)
第一実施形態の構成例について説明する。図1は第一実施形態の構成例を示すブロック図である。
データ集約システム1は、データ送信部群2と、制御部3と、データ集約部4とを含む。データ送信部群2は、一又は複数のデータ送信部5から構成される。データ送信部群2は、例えばアプリケーション等から出力されたデータをデータ集約部4に送信する。制御部3は、データ送信部群2が送信するデータ量が、データの送信期限が近づくほど単調減少するようデータ送信部群を制御する。ここで単調減少とは、データの送信量が、データの送信期限が近づいても「増加しない」ことをいう。また、特定時点から送信期限までの間にデータの送信量が0となる時間がある場合は、当該時間の送信量はデータの送信量に含めなくても良い。すなわち、制御部3は、データ送信部群2によるデータの送信量が「0」と「0より大きい」を繰り返すような場合は、「0より大きい」となる時間のデータ送信量について、データの送信期限が近づくほど単調減少するよう制御してもよい。また、データ送信部群2が複数のデータ送信部5で構成される場合、データ送信部群2のデータ送信量が単調減少していれば良く、各データ送信部5のデータ送信量は単調減少していなくてもよい。例えば、データの送信期限が近づくほどデータ送信量が増加するデータ送信部5があっても良く、増加と減少を繰り返すようなデータ送信部5があっても良い。なお、制御部3およびデータ集約部4は一つでも複数でも良い。制御部3は、データ集約部4またはデータ送信部5と同一のハードウェア装置によって実現されても良いし、別のハードウェア装置によって実現されても良い。データ集約部4は、データ送信部群2が送信したデータを受信する。
データ送信部群2、制御部3、データ集約部4のそれぞれを実現するハードウェア間の情報の送受信は、通信ネットワークを介して行われる。通信は無線でも有線でも良い。また、ハードウェア間を結ぶ通信ネットワークは、インターネット等の同一のネットワークでも良いし、異なるネットワークでも良い。
次に、第一実施形態のハードウェア構成について、図2を用いて説明する。図2は、制御部3、データ集約部4、データ送信部5をそれぞれ実現するハードウェアの構成を示している。CPU6は演算制御用のプロセッサであり、プログラムを実行することで本発明の各機能手段を実現する。ROM7は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部8は、ネットワークを介して外部装置と通信する。RAM9は、CPU6が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM9には、本実施形態の実現に必要な種々のデータを記憶する容量が確保される。大容量記憶部10は、本実施形態の実現に必要なデータベース等のデータや、CPU6が実行するアプリケーションプログラムを、不揮発に記憶する。
第一実施形態では、データ送信部群2のデータの送信量が、送信期限が近づくほど単調減少するため、送信期限が近づくほど、再送の発生率が小さくなる。すると、送信期限までの残り時間で送信すべきデータ量が、送信期限までの間の最大送信可能データ量を超過する確率が小さくなる。つまり、本実施形態により、送信期限内にデータ集約を完了することができる。
また、他の課題として、送信期限に近づいてから再送が増加することで、送信期限付近でのデータ送信部のハードウェア負荷が増加し、データ送信部と同一のハードウェア上にあるアプリケーションの性能が劣化することがあった。しかし、本実施形態のようにデータの送信期限が近づくほど単調減少するようデータ送信部群を制御することにより、送信期限に近づく毎にデータ送信部の負荷を低くすることができる。そのため、本実施形態では、データ送信部と同一のハードウェア上にあるアプリケーションの性能劣化を防ぐことができる。
さらに本実施形態の変形例として、制御部3は、データ送信部5が送信するデータの送信量を、送信期限に近づくほど単調減少させても良い。つまり、制御部3は、全て又は一部のデータ送信部5を別個に制御し、それぞれについてのデータ送信量を送信期限に近づくほど単調減少させることで、データ送信部群2として送信するデータ量が送信期限に近づくほど単調減少するよう制御しても良い。
(第二実施形態)
(第二実施形態の構成)
第二実施形態の構成例について説明する。図3は第二実施形態の構成例を示すブロック図である。第二実施形態では、第一実施形態と比較すると、各制御部114が各データ送信部113と共にデータ収集部11を構成している点で異なる。そのため、データ送信部群が送信するデータ量が送信期限に近づくほど単調減少するだけでなく、各データ送信部113が送信するデータ量も、送信期限に近づくほど単調減少する。また、第二実施形態では、データ集約部12およびデータ取集部11内に複数の構成が存在する。詳細は以下で説明する。
データ集約システム1は、データ収集部11とデータ集約部12とを含む。データ収集部11およびデータ集約部12は、ひとつでも複数でもよい。データ収集部11とデータ集約部12とは通信ネットワークを介して接続されている。データ収集部11は、不図示のアプリケーションからデータを受信し、受信したデータをデータ集約部12に送信する。アプリケーションが出力するデータは、例えば、データが生成された時刻とデータ内容を含むログデータ等である。データ集約部12は、データ収集部11から受信したデータを不図示のデータ分析部へ送信する。不図示のデータ分析部は、データ集約部12からデータを受信し、受信したデータの分析処理を行う。分析処理は取得したデータを利用するための任意の内容でよく、例えば、ログデータ中の特定の単語の数を計数する等がある。データ分析部が分析処理を繰り返す時間間隔をタイムボックスとする。分析処理の対象となるデータは、当該分析処理が開始するまでに分析部への送信が完了されなければならない。よって、データ集約部12は、分析処理に間に合うように、当該分析の対象となるデータを取集部11から収集しきらなければならない。そのため、データ収集部11が送信するデータには、データの送信期限が設けられている。本実施形態では、あるタイムボックスにおいてアプリケーションで生成されたデータの分析開始時刻を、次のタイムボックス終了時点とする。つまり、データが生成されたタイムボックスの次のタイムボックスの終了時点を、そのデータの送信期限とする。しかし、データの送信期限はこれに限られず、データが生成されたタイムボックスから所定の数のタイムボックスが経過した時点としてもよいし、具体的な時間や時刻を設定しても良い。
<データ収集部11>
データ収集部11は、データ記憶部111、データバッファリング部112、データ送信部113、制御部114、送信スケジュール記憶部115を含む。データ記憶部111は、不図示のアプリケーションが出力したデータを記憶する。データバッファリング部112は、不図示のアプリケーションが出力したデータがデータ記憶部111に書き込まれたタイミングで、当該データの一時的な記憶(バッファリング)を行う。データ収集部11は、次のタイムボックスになったと判定するとバッファリングされたデータを不図示の送信用バッファに移動し、データバッファリング部112が記憶していたデータを削除する。データ収集部11は、タイムボックス経過毎にこの処理を行う。次のタイムボックスになったか否かの判定は、現在の時刻を元に行われても良いし、タイムボックス開始時点からの経過時間を計測することによって行われても良い。
データ送信部113は、送信用バッファに記憶されたログをデータ集約部12に送信する。データ送信部113が送信するデータ量や送信のタイミングは制御部114により制御されている。
制御部114は、送信スケジュール記憶部115に記憶された送信スケジュールを参照し、送信スケジュールに従ってデータ送信部113のデータの送信を制御する。具体的には、制御部114は、送信スケジュールが示すデータの送信のタイミングになったことを判定すると、データ送信部113にデータを送信させる。
送信スケジュール記憶部115は、送信スケジュールを記憶する。送信スケジュールの一例を図4に示す。送信スケジュールは例えば、データ送信部113が、どのタイムボックスのどのタイムスロットにおいてどのくらいの量のデータを送信するかを示す。ここで、タイムスロットとは、タイムボックスをさらに所定の時間間隔で分割したものをいう。
図4に示す送信スケジュールでは、タイムボックス1は60秒間から成り、各タイムスロットは10秒である。ここで、データ送信部113がデータを送信するタイムスロット(データ送信量>0のタイムスロット)を送信タイムスロットと呼ぶ。図4に示す送信スケジュールでは、タイムスロット1において100、タイムスロット4において75、タイムスロット5において50の所定単位のデータが、データ送信部113から送信されることを示している。図4に示す送信スケジュールは一例であるが、送信スケジュールは、データの送信期限(本実施例ではタイムボックスの終了時点)が近づくほど、各送信タイムスロットにおけるデータの送信量が単調減少する必要がある。制御部114は、送信スケジュールを参照することで、データ送信部113が送信するデータの量やタイミングを制御することができる。
<データ集約部12>
データ集約部12は、データ受信部121、データ受信キュー122を含む。データ受信部121は、一又は複数のデータ送信部113から送信されたデータを受信し、データ受信キュー122に記憶させる。データ受信キュー122は、データ受信部121がデータを受信したタイミングで、当該データを記憶する。不図示のデータ分析部は、タイムボックス経過毎にデータ受信キュー122に記憶されている全てのデータを取得し、データ受信キュー122に記憶されているデータを削除する。そして、データ分析部は取得したデータの分析処理を行う。なお、データ分析部はデータ集約部と同一のハードウェア装置によって実現されても良いし、別でも良い。
(第二実施形態の動作)
以下、第二実施形態の動作について説明する。
<データ収集部11>
図5は、データ収集部11の動作を示すフローチャートである。まず、データバッファリング部112は、データ記憶部111がアプリケーションから受信したデータをバッファリングする(S21)。データ収集部11は、バッファリングされたデータが生成したタイムボックスの次のタイムボックスになったか否かを判定する(S22)。次のタイムボックスになっていないと判定された場合、次のタイムボックスになったと判定されるまで、データバッファリング部112はデータのバッファリングを繰り返し行う。次のタイムボックスになったと判定された場合、データ収集部11は、データバッファリング部112がバッファリングしたデータを送信用バッファに移動し、データバッファリング部112が記憶していたデータを削除する(S23)。制御部114は、送信スケジュール記憶部115に記憶されている送信スケジュールを参照し、データ送信のタイミングになったか否かを判定する(S24)。例えば制御部114は、タイムボックス1が開始してから11秒が経過していると計測すると、図4に示す送信スケジュールを参照し、現在タイムスロット2であるため、データの送信タイミングでないと判定する。制御部114は、タイムボックス1が開始した時刻と現在の時刻から、現在のタイムスロットを判断しても良い。データの送信タイミングになっていないと判定された場合、制御部114は所定時間経過後に再び送信タイミングの判定を行う。データの送信タイミングになったと判定された場合、制御部114は、送信用バッファにバッファリングされているデータをデータ送信部113に送信させる(S25)。データの送信量は、送信スケジュールの該当するタイムスロットにおけるデータ送信量となる。例えば現在がタイムスロット5であれば、制御部114は50のデータをデータ送信部113に送信させる。さらに制御部114は、送信スケジュールを参照し、現在のタイムボックス内にデータを送信していない送信タイムスロットが残っているかを判断する(S26)。例えば現在が図4のタイムスロット5におけるデータの送信が完了した時点であれば、タイムスロット6ではデータの送信量が0であるため、タイムボックス1内にはデータを送信していない送信タイムスロットは残っていない。現在のタイムボックス内にデータを送信していない送信タイムスロットが残っていない場合、データ収集部11は現在のタイムボックスにおける処理を終了する。
<データ集約部12>
図6は、データ集約部12の動作を示すフローチャートである。まず、データ受信部121はデータ収集部11からデータを受信する(S27)。データ集約部12は、データ受信部112が受信したデータをデータ受信キュー122に記憶させる(S28)。データ受信キュー112では、データの生成時刻順にデータがソートされて記憶される。データ分析部は、次のタイムボックスになったと判定すると、データ受信キュー112に記憶されている全てのデータを取得し、元のデータをデータ受信キュー112から削除する。そして、データ分析部は、受信したデータの分析を行う(S30)。
第二実施形態では、各制御部114がデータ収集部11に配置され、各データ送信部113を制御する構成としているため、ネットワークに制御部114を配置する必要がない。また、各データ送信部113に対する送信スケジュールもデータ収集部11内に存在するため、各データ収集部11内の制御部114が互いにデータの送信量を把握する必要がない。したがって、データ送信部113の制御にかかる時間が短縮されるため、送信期限内にデータ集約を完了できる可能性がさらに高くなる。
(第三実施形態)
(第三実施形態の構成)
次に、第三実施形態の構成例について説明する。図7は第三実施形態の構成例を示すブロック図である。本実施形態に係るシステムは、上記第二実施形態と比べると、送信タイムスロット計画部13、送信スケジュール作成部116、データ圧縮部117を有する点で異なる。なお、送信タイムスロット計画部13内の各構成は、データ集約部12やデータ収集部11と同一のハードウェアによって実現されても良い。また、送信スケジュール作成部116内の各構成は、データ収集部11と別のハードウェア装置により実現されても良い。その他の構成および動作は第二実施形態と同様のため、説明を省略する。
<送信タイムスロット計画部>
送信タイムスロット計画部13は、スケジュール基本設定記憶部131、データ収集サーバリスト記憶部132、送信タイムスロット決定部133、送信タイムスロット記憶部134を含む。
スケジュール基本設定記憶部131は、データ分析部が行うデータ分析の開始時刻や終了時刻、分析を繰り返す時間間隔、データ送信部113がデータを送信可能な時間間隔等を、スケジュール基本設定として記憶している。また、スケジュール基本設定記憶部131は、データ集約部へのデータ収集部の最大同時接続数、データ受信部121がデータを受信可能な時間間隔等もスケジュール基本設定として記憶している。
データ収集サーバリスト記憶部132は、ログ収集部の識別子データをデータ収集サーバリストとして記憶している。データ収集サーバリストの一例を図8に示す。図8より、本実施形態のデータ集約システム1におけるデータ収集部の数は4つであり、それぞれデータ収集部1〜4というサーバ名であることがわかる。また、データ収集部1〜4には1〜4の識別子No.が振られている。
送信タイムスロット決定部133は、スケジュール基本設定記憶部131からスケジュール基本設定を、データ収集サーバリスト記憶部132からデータ収集サーバリストを取得する。そして、それらのデータを基に、各データ収集部がデータを送信するタイミングとなる送信タイムスロットを決定する。具体的には、送信タイムスロット決定部133は、データ分析の時間間隔をタイムボックスの時間幅とし、データ受信部121がデータを受信可能な時間間隔をタイムスロットの時間幅として、図9に示すような空の送信スケジュールを作成する。ただし、タイムボックスの時間幅やタイムスロットの時間幅はこれらに限られず、システムの設計者やユーザが任意に設定し、スケジュール基本設定記憶部131に格納できるものである。図9に示す表では、XX年XX月XX日のYY:YY:YY(時刻)から各データ収集部によるデータの送信が開始され、同日のZZ:ZZ:ZZ(時刻)のデータ送信期限までにデータの送信が完了する。ZZ:ZZ:ZZは送信されたデータの分析開始時刻である。また、タイムボックス(TB)の時間幅はデータ分析の時間間隔であり、タイムスロット(TS)の時間幅はデータ受信部121がデータを受信可能な時間間隔である。そして、送信タイムスロット決定部133は、データ集約部へのデータ収集部の最大同時接続数をもとに、各データ収集部についての送信タイムスロットを決定する。すなわち、送信タイムスロット決定部133は、各タイムスロットにおいてデータを送信するデータ収集部の数が、最大同時接続数以下となるように、送信タイムスロットを決定する。また、送信タイムスロット決定部133は、各データ収集部の一つのタイムボックス内でのデータ送信回数を同一にしても良い。そうすると、どのデータ取集部も同じ回数データ集約部へデータを送信できる。送信タイムスロット記憶部134は、送信タイムスロット決定部133が決定した送信タイムスロットのデータを記憶する。
<送信スケジュール作成部>
送信スケジュール作成部116は、送信量割当て部1161、圧縮率計算部1162、割当て基本設定記憶部1163を含む。送信量割当て部1161は、送信タイムスロット記憶部から、自身が含まれているデータ収集部についての送信タイムスロットのデータを取得する。そして、各送信タイムスロットにおいてどのくらいの量のデータを送信するかを割り当て、送信スケジュールを作成する。同一タイムボックス内の一番目の送信タイムスロットには、データ集約部の最大同時受信データ量÷データ集約部への最大同時接続数以下のデータ送信量が割り当てられる。また、送信量割当て部1161は、データの送信期限であるタイムボックスの終了時点が近づくほど、データの送信量が単調減少するようにデータ送信量を割り当てる。データ送信量の割り当てに関しては第三実施形態の動作の説明にて詳しく説明する。
圧縮率計算部1162は、バッファリング部112に現在バッファリングされているデータ量と、次のタイムボックスについて送信量割当て部1161が割り当てたデータ送信量とを比較する。つまり、現在バッファリングされているデータ量と、次のタイムボックスで送信が予定されているデータの総量とが比較される。そして、圧縮率計算部1162は、バッファリングされているデータ量の方が多い場合、超過分を、送信スケジュールの次のタイムボックスにおける各送信タイムスロットに分配する。さらに、圧縮率計算部1162は、分配後の各タイムスロットにおけるデータの送信量が、送信量割当て部1161が割り当てた送信量になるようデータの圧縮率を計算し、送信スケジュールを更新する。
割当て基本設定記憶部1163は、送信量割当て部1161による送信量の割り当てに用いられるデータが記憶されている。例えば、データ集約部の最大同時受信データ量、データ集約部への最大同時接続数、単調減少関数の式、単調減少関数で用いられる定数、などである。
送信スケジュール記憶部115は、圧縮率計算部1162によって更新された送信スケジュールを記憶する。なお、送信スケジュール記憶部115は、更新前の送信スケジュールを記憶しておき、更新があった場合に更新後の送信スケジュールを上書きしてもよい。
<データ圧縮部>
データ圧縮部117は、送信スケジュール記憶部115に記憶されている送信スケジュールを参照し、バッファリング部112にバッファリングされているデータを圧縮する。データを圧縮するタイミングは、現在バッファリングされているデータについての圧縮率が圧縮率計算部1162によって計算され、送信スケジュールが更新された時点から、圧縮の対象となるデータがデータ送信部113によって送信される時点までとする。
(第三実施形態の動作)
以下、第三実施形態の動作について説明する。なお、送信タイムスロット計画部13、送信スケジュール作成部116、データ圧縮部117以外の動作については第二実施形態と同様であるので、説明を省略する。
<送信タイムスロット計画部>
図10は、送信タイムスロット決定部133の動作の例を示すフローチャートである。なお、図10に示す動作は、動作によって決定される送信タイムスロットにおけるデータの送信が開始されるまでに終了する必要がある。まず、送信タイムスロット決定部133は、スケジュール基本設定記憶部131からスケジュール基本設定を、データ収集サーバリスト記憶部132からデータ収集サーバリストを取得する(S41)。図11にスケジュール基本設定の一例を示す。本実施形態の動作では、データ分析の開始時刻、分析回数、分析間隔、データ集約部12へのデータ収集部11の最大同時接続数、がスケジュール基本設定として取得される。
そして、送信タイムスロット決定部133は、取得したスケジュール基本設定およびデータ収集サーバリストを用いて、例えば図12のような送信タイムスロットを決定する(S42)。図12ではタイムボックス1について決定された送信タイムスロットを示しているが、実際は分析回数分のタイムボックス(本実施形態ではタイムボックス10000まで)について送信タイムスロットが決定される。また、各タイムボックスにおける各データ収集部のデータ送信のタイミングが同一の場合は、送信スケジュールを複数のタイムボックスについて使い回しても良い。本実施形態では、送信タイムスロット決定部133は、分析間隔(1分)をタイムボックスの時間幅として空のスケジュールを作成する。また、データの送信が行われたタイムボックス1の終了時点を当該データの分析開始時間とすると、タイムボックス1は2014年12月25日12:00:00に終了する。次に、送信タイムスロット決定部133は、データ送信部の数がデータ集約部の所定の接続上限数より多い場合、複数のデータ送信部から所定の接続上限数のデータ送信部を選択する際の組み合わせの数の倍数を、タイムスロットの数として決定する。本実施形態では、データ収集部11のデータ集約部12への最大同時接続数である2を、データ集約部12の所定の接続上限数とする。すると、送信タイムスロット決定部133は、4つのデータ収集部11から接続上限数の2つを選ぶ組み合わせの数の倍数を、一つのタイムボックスにおけるタイムスロットの数として決定する。これにより、同一タイムボックス内で同時にデータを送信するデータ収集部11の組み合わせを網羅することができ、かつ、各データ収集部11の同一タイムボックス内でのデータ送信回数を同一とすることができる。数式で表すと、4C2=6の倍数を一つのタイムボックスにおけるタイムスロットの数とする。本実施形態では、一つのタイムボックスにおけるタイムスロットの数を6とする。よってタイムスロットの時間幅は、タイムボックスの時間幅である1分を6つに分割し、10秒となる。最後に、送信タイムスロット決定部133は、同時にデータを送信する2つのデータ収集部11の全ての組み合わせを網羅するよう、空のスケジュールに当てはめる。同時にデータを送信するデータ収集部11のペアを番号で表すと、1−2、1−3、1−4、2−3、2−4、3−4の6つとなる。なお、どのタイムスロットにどのペアを当てはめるかは任意であり、システム設計やシステムユーザが適宜設定できるものとする。図12における○は、各データ収集部11がデータ集約部12へデータを送信するタイミングを示している。すなわち、○がついているタイムスロットは各データ収集部11について決定された送信タイムスロットである。
最後に、送信タイムスロット決定部133は、決定した送信タイムスロットのデータを送信タイムスロット記憶部134に記憶させる(S43)。
なお、データ送信部の数がデータ集約部の所定の接続上限数以下である場合は、送信タイムスロット決定部133は、一つのタイムボックスにおけるタイムスロットの数をいくつにしても良い。また、その場合、送信タイムスロット決定部133は、全てのタイムスロットにおいて、全てのデータ収集部11がデータを送信するよう送信タイムスロットを決定しても良い。
<送信スケジュール作成部>
図13は、送信スケジュール作成部116の動作の例を示すフローチャートである。まず、送信スケジュール作成部116内の送信量割当て部1161は、送信タイムスロット記憶部134から、自身が含まれているデータ収集部についての送信タイムスロットのデータを取得する(S51)。例えば、データ収集部1内の送信量割当て部1161であれば、図12の表におけるデータ収集部1の送信タイムスロットを示す行を送信タイムスロット記憶部134から取得する。送信量割当て部1161がデータ収集部11と別のハードウェア装置により実現されている場合、送信量割当て部1161は全てのデータ収集部についての送信タイムスロットのデータを取得しても良い。そして、送信量割当て部1161は、データの送信期限であるタイムボックスの終了時点が近づくほど、データの送信量が単調減少するように各送信タイムスロットにデータの送信量を割り当て、送信スケジュールを作成する(S52)。本実施形態では、現在バッファリング部にバッファリングされているデータは次のタイムボックスでデータ集約部に送信されるものとする。送信量の割り当てには、単調減少関数を用いることができる。また、送信量の割り当てに用いる関数や定数は、割当て基本設定記憶部1163に記憶されている。送信量割当て部1161は、割当て基本設定記憶部1163、データ集約部の最大同時受信データ量、データ集約部への最大同時接続数、単調減少関数の式、単調減少関数で用いられる定数等を、割当て基本設定記憶部1163から取得する。割当て基本設定記憶部1163に記憶されているデータの一例を図14に示す。本実施形態では、データ収集部1〜4内の各割当て基本設定記憶部1163が有する関数や定数は同一であるものとするが、それぞれ異なっていても良い。また、本実施形態では、送信量割当て部1161は、データの送信量(y)、タイムボックス内の早い送信タイムスロットから1ずつ数が加算される変数(α)、定数(a)、定数(b)としたy=−aα+bの関数を用いて送信量を割り当てる。定数(a)は、図14にも示されているが、25である。定数(b)は、データ収集部1があるタイムスロットにおいて送信できる最大のデータ量とし、集約部の最大同時受信データ量/データ集約部への最大同時接続数から、125である。よって、これらの値を代入すると、単調減数関数はy=−25α+125となる。送信量割当て部1161がこの式を用いて各タイムスロットにデータ送信量を割り当てる。以上のようにして作成された送信スケジュールの例を図15に示す。タイムスロット1はタイムボックス1において一番目に早い送信タイムスロットであるためα=1であり、データ送信量が100である。同様に、タイムスロット4ではα=2のためデータ送信量が75、タイムスロット5ではα=3のためデータ送信量が50である。なお、送信量の割り当てに用いられる単調減少関数はこれに限られず、タイムボックスの開始時点からの経過時間(t)が大きくなるにつれてデータの送信量(y)が小さくなる関数y=−at+bやy=−at^2+b(a≧0)などでも良い。
圧縮率計算部1162は、送信量割当て部1161が作成した送信スケジュールを受け取り、次のタイムボックスにおけるデータ送信量の総量とバッファリング部112に現在バッファリングされているデータ量とを比較する(S53)。そして、圧縮率計算部1162は、バッファリングされているデータ量の方が多い場合、超過分を、次のタイムボックスの送信タイムスロットに分配する(S54)。図15より、次のタイムボックスにおけるデータ送信量の総量は225である。バッファリング部112に現在バッファリングされているデータ量が例えば300である場合、圧縮率計算部1162は、超過分である75のデータ量を送信タイムスロットに分配する。分配されるデータ量は、各送信タイムスロットで同量でも良いし、勾配をつけても良い。勾配をつける場合、タイムボックスの終了時点が近づくほど分配量が多くなる、または少なくなる等が挙げられる。ただし、後のステップにおけるデータの圧縮の動作による負荷が、所定の値以下になる分配量が望ましい。さらに、圧縮率計算部1162は、分配後の各タイムスロットにおけるデータの送信量が、送信量割当て部1161が割り当てた送信量になるようデータの圧縮率を計算し、送信スケジュールを更新する(S55)。図16に、圧縮率計算部1162によって更新された送信スケジュールの例を示す。本実施例では、超過分の75のデータ量を3つの送信タイムスロットに均等に分配したため、分配量はいずれも25である。圧縮率は、各送信タイムスロットについて、(データ送信量+分配量)/データ送信量×100で求められた値である。例えば、TS1では、(100+25)/100×100=125(%)である。なお、S53において、バッファリング部112に現在バッファリングされているデータ量が次のタイムボックスにおけるデータ送信量以下である場合は、圧縮率は0となる。最後に、圧縮率計算部1162は、更新した送信スケジュールを送信スケジュール記憶部115に記憶する(S56)。
<データ圧縮部>
図17は、データ圧縮部117の動作の例を示すフローチャートである。まず、データ圧縮部117は、次のタイムボックスの送信スケジュールを送信スケジュール記憶部115から取得する(S61)。そして、送信スケジュールに示される圧縮率のうち、直近の送信タイムスロットについての圧縮率に基づいて、バッファリング部112にバッファリングされているデータを圧縮する(S62)。
第三実施形態では、送信タイムスロット計画部13がデータ収集部11と別のハードウェア上に存在するため、データ収集部11が複数ある場合も、送信タイムスロットの決定に当たりデータ収集部11どうしが通信を行う必要がない。よって、送信スケジュールの作成にかかる時間が短縮され、送信期限内にデータ集約を完了できる可能性がさらに高くなる。また、バッファリング部112にバッファリングされているデータ量が送信スケジュールで定められたデータ送信量を超過している場合でも、データ圧縮部117がデータの圧縮を行うことにより、送信期限内にデータ集約を完了できる可能性が高くなる。
なお、第三実施形態は、一又は複数のデータ送信部113(データ送信部群)、制御部114、データ集約部12、送信タイムスロット決定部133、送信量割当て部1161で構成することもできる。その場合の動作を以下に示す。まず、送信タイムスロット決定部133は、各データ送信部113がデータを送信するタイミングである送信タイムスロットを決定する。そして、送信量割当て部1161は、各送信タイムスロットにおいて、各データ送信部113が送信するデータ量を割り当てる。このとき、送信量割当て部1161は、各データ送信部113が送信するデータ量が、データの送信期限に近づくほど単調減少するように割当てる。すなわち、本実施形態では、送信量割当て部1161は、各タイムボックスの終了時点に近づくほどデータの送信量が単調減少するように割当てを行う。制御部114は、各送信タイムスロットについて、送信量割当て部1161が割当てたデータ量を送信するようにデータ送信部113を制御する。これにより、送信部113は、送信期限が近づくほどデータの送信量が単調減少するようデータを送信することができる。最後に、データ集約部12は、一又は複数のデータ送信部113が送信したデータを受信する。
(第四実施形態)
次に、第四実施形態について説明する。第四実施形態におけるデータ集約システムの構成は第三実施形態と同様であるため、説明を省略する。
(第四実施形態の動作)
以下、第四実施形態の動作について説明する。第四実施形態では、送信スケジュール作成部116の動作が第三実施例と異なる。なお、送信スケジュール作成部116以外の動作については第三実施形態と同様であるので、説明を省略する。本実施形態では、第三実施形態のTB1のTS1におけるデータの送信の後に、データ量20の再送が発生したものとする。図18は、再送が発生した際の送信スケジュール作成部116の動作の例を示すフローチャートである。まず、送信スケジュール作成部116は、データ収集部11からデータの再送が発生すること、およびデータの再送量を取得する(S71)。そして、送信スケジュール作成部116内の圧縮率計算部1162は、TB1の残りの送信タイムスロットに再送分のデータを分配する(S72)。TS1は既に過ぎているため、圧縮率計算部1162は、残りの送信タイムスロットであるTS4およびTS5に再送分のデータ量20を分配する。本実施形態では、TS4およびTS5に均等に、10ずつ再送分のデータ量を割り当てられるものとするが、分配の仕方は第三実施形態の送信量の割当てと同様、これに限られない。さらに、圧縮率計算部1162は、再送分データの分配後のデータの送信量が、送信量割当て部1161が割り当てた送信量になるようデータの圧縮率を計算し、送信スケジュールを更新する(S73)。図19に、圧縮率計算部1162によって更新された送信スケジュールの例を示す。TS4およびTS5に10ずつ再送分のデータ量を割り当てるため、図19にでは、分配量(再送)はいずれも10となっている。また、圧縮率は、(データ送信量+分配量+分配量(再送))/データ送信量×100で求められた値に上書きされる。例えば、TS4では、(75+25+10)/75×100=147(%)である。なお、再送分データの送信方法について、再送時点から前記データの送信期限までの期間において、再送分の送信量を含めたデータの送信量を、前記データの送信期限が近づくほど単調減少させるように動作させればよい。具体的には、再送分データの送信方法は、上述したように、データの圧縮を行って送付してもよいし、データ送信量+分配量(再送)の値がデータ集約部の最大同時受信データ量を超過しない場合は、分配量(再送)についてはデータの圧縮を行わなくても良い。すなわち、TS4および5における10の再送分データは圧縮を行わずにデータ集約部に送信されても良い。最後に、圧縮率計算部1162は、更新した送信スケジュールを送信スケジュール記憶部115に上書きして記憶する(S74)。
第四実施形態では、再送分を加算したデータの送信量が、送信期限が近づくほど単調減少する。そのため、送信期限が近づくほど、更なる再送の発生率が小さくなり、送信期限内にデータ集約を完了することができる。なお、再送分データの分配後のデータの送信量が、送信量割当て部1161が割り当てた送信量にならなくともよい。その場合は、少なくとも、再送分が加算された送信タイムスロットから、送信期限が近づくにつれて、データの送信量が単調減少すれば良い。
上述した各実施形態は本発明を具体化した一例に過ぎず、請求の範囲に記載された本発明の趣旨の範囲内であれば、種々変更することができるものである。
1 データ集約システム
2 データ送信部群
3 制御部
4 データ集約部
5 データ送信部
6 CPU
7 ROM
8 通信制御部
9 RAM
10 大容量記憶部
11 データ収集部
12 データ集約部
13 送信タイムスロット計画部
111 データ記憶部
112 データバッファリング部
113 データ送信部
114 制御部
115 送信スケジュール記憶部
116 送信スケジュール作成部
117 データ圧縮部
121 データ受信部
122 データ受信キュー
131 スケジュール基本設定記憶部
132 データ収集サーバリスト記憶部
133 送信タイムスロット決定部
134 送信タイムスロット記憶部
1161 送信量割当て部
1162 圧縮率計算部
1163 割当て基本設定記憶部

Claims (9)

  1. 一又は複数のデータ送信部から構成されるデータ送信部群と、
    データの送信期限が近づくほど、前記データ送信部群が送信するデータの送信量を単調減少させる制御部と、
    前記データ送信部群から送信されるデータを受信するデータ集約部と、
    を備えるデータ集約システム。
  2. 前記制御部は、
    データの送信期限が近づくほど、少なくとも一つの前記送信部が送信するデータの送信量を単調減少させる
    請求項1記載のデータ集約システム。
  3. 特定時点からデータの送信期限までの時間を分割した複数の時間間隔をタイムスロットとし、前記各データ送信部がデータを送信するタイムスロットを送信タイムスロットとして決定する送信タイムスロット決定部と、
    前記各送信タイムスロットにおいて、前記各データ送信部が送信するデータの送信量が、前記データの送信期限が近付くほど単調減少し、かつ/または、
    前記データ送信部群が送信するデータの送信量が、前記データの送信期限が近付くほど単調減少するように、
    前記各送信タイムスロットにデータの送信量を割り当てる送信量割当て部と、を備え、
    前記制御部は、前記各データ送信部が、前記送信量割当て部に割り当てられた送信量のデータを送信するよう制御する
    請求項1または2記載のデータ集約システム。
  4. 前記制御部はさらに、前記データ送信部が送信したデータに再送が発生した場合、再送時点から前記データの送信期限までの期間において、再送分の送信量を含めたデータの送信量を、前記データの送信期限が近づくほど単調減少させる
    請求項1乃至3のいずれか一つに記載のデータ集約システム。
  5. 前記特定時点から前記データの送信期限までのデータをバッファリングし、前記データ送信部にバッファリングしたデータを送信するバッファリング部と、
    前記バッファリング部にバッファリングされたデータ量が、前記特定時点から前記データの送信期限までに前記各送信タイムスロットに割り当てられたデータの総量を超過する場合、前記バッファリング部にバッファリングされたデータ量が、前記特定時点から前記データの送信期限までに前記各送信タイムスロットに割り当てられたデータの総量以下になるようにデータの圧縮を行うデータ圧縮部と、を備える、
    請求項3又は4記載のデータ集約システム。
  6. 前記送信タイムスロット決定部はさらに、前記各タイムスロットにおける前記複数のデータ送信部の前記データ集約部への接続数が所定の閾値以下であり、かつ、前記特定時点から前記データの送信期限までにおける各データ送信部のデータ送信回数が同一となるように、送信タイムスロットを決定する
    請求項3乃至5のいずれか一つに記載のデータ集約システム。
  7. 前記送信タイムスロット決定部はさらに、前記データ送信部の数が前記データ集約部の所定の接続上限数より多い場合、複数の前記データ送信部から前記所定の接続上限数のデータ送信部を選択する際の組み合わせの数の倍数を、前記タイムスロットの数とする
    請求項3乃至6のいずれか一つに記載のデータ集約システム。
  8. データの送信期限が近づくほど、一又は複数のデータ送信部から構成されるデータ送信部群が送信するデータの送信量を単調減少させる制御処理と、
    前記データ送信部群から送信されるデータを受信するデータ集約処理と、
    をコンピュータに実行させるデータ集約プログラム。
  9. 制御部が、データの送信期限が近づくほど、一又は複数のデータ送信部から構成されるデータ送信部群が送信するデータの送信量を単調減少させ、
    データ集約部が、前記データ送信部群から送信されるデータを受信する、
    データ集約方法。
JP2015010779A 2015-01-23 2015-01-23 データ集約システム、データ集約プログラム、及びデータ集約方法 Active JP6459548B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015010779A JP6459548B2 (ja) 2015-01-23 2015-01-23 データ集約システム、データ集約プログラム、及びデータ集約方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015010779A JP6459548B2 (ja) 2015-01-23 2015-01-23 データ集約システム、データ集約プログラム、及びデータ集約方法

Publications (2)

Publication Number Publication Date
JP2016136653A true JP2016136653A (ja) 2016-07-28
JP6459548B2 JP6459548B2 (ja) 2019-01-30

Family

ID=56512672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015010779A Active JP6459548B2 (ja) 2015-01-23 2015-01-23 データ集約システム、データ集約プログラム、及びデータ集約方法

Country Status (1)

Country Link
JP (1) JP6459548B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179067A1 (ja) * 2017-03-27 2018-10-04 日本電気株式会社 通信装置、基地局、無線リソース割当方法、及びコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306511A (ja) * 2000-04-25 2001-11-02 Pfu Ltd マシン情報の収集方法およびマシン情報の収集装置ならびにその記録媒体
JP2007173934A (ja) * 2005-12-19 2007-07-05 Toyota Motor Corp 車両通信方法および通信装置
JP2008054127A (ja) * 2006-08-25 2008-03-06 Ntt Communications Kk ゲートウェイ装置、データ集約装置、データ集約システム、データ送信方法、及びプログラム
JP2013045313A (ja) * 2011-08-25 2013-03-04 Hitachi Ltd ログ収集管理装置、システム、および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306511A (ja) * 2000-04-25 2001-11-02 Pfu Ltd マシン情報の収集方法およびマシン情報の収集装置ならびにその記録媒体
JP2007173934A (ja) * 2005-12-19 2007-07-05 Toyota Motor Corp 車両通信方法および通信装置
JP2008054127A (ja) * 2006-08-25 2008-03-06 Ntt Communications Kk ゲートウェイ装置、データ集約装置、データ集約システム、データ送信方法、及びプログラム
JP2013045313A (ja) * 2011-08-25 2013-03-04 Hitachi Ltd ログ収集管理装置、システム、および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179067A1 (ja) * 2017-03-27 2018-10-04 日本電気株式会社 通信装置、基地局、無線リソース割当方法、及びコンピュータ可読媒体
JPWO2018179067A1 (ja) * 2017-03-27 2020-01-23 日本電気株式会社 通信装置、基地局、及び無線リソース割当方法
US11368872B2 (en) 2017-03-27 2022-06-21 Nec Corporation Communication apparatus, base station, radio resource allocation method, and computer readable medium

Also Published As

Publication number Publication date
JP6459548B2 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
CN103309738B (zh) 用户作业调度方法及装置
US9888048B1 (en) Supporting millions of parallel light weight data streams in a distributed system
US8797864B2 (en) Adaptive traffic management via analytics based volume reduction
CN109246229A (zh) 一种分发资源获取请求的方法和装置
CN109696889B (zh) 数据收集装置及数据收集方法
US9172755B2 (en) Remote information collecting device and computer readable medium
JP2014137709A (ja) 計算機システム
CN105577801B (zh) 一种业务加速方法及装置
CN103905328A (zh) 一种数据传输控制系统、方法及相关装置
US20160337167A1 (en) Log data collection system, terminal device, and log data collection method
CN111176840B (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
KR20120133658A (ko) 데이터의 병렬 수신을 위한 스트림 제어 방법 및 장치
CN109150756B (zh) 一种基于sdn电力通信网的队列调度权值量化方法
US20170223546A1 (en) Radio Resource Allocation Method and Radio Network Controller
US20170220383A1 (en) Workload control in a workload scheduling system
US10292181B2 (en) Information communication method and information processing apparatus
US8306065B2 (en) Data distribution apparatus, relay apparatus and data distribution method
JP6459548B2 (ja) データ集約システム、データ集約プログラム、及びデータ集約方法
US7733777B1 (en) Adaptive rate allocation for multiple TCP sources in wireless networks
US10146584B2 (en) Weight adjusted dynamic task propagation
WO2015011757A1 (ja) 情報処理装置、方法、及びプログラム
CN114205374A (zh) 基于信息时效性的传输和计算联合调度方法、装置及系统
JP5997659B2 (ja) 分散処理システムおよび分散処理方法
CN113259439B (zh) 基于接收端驱动的键值调度方法
TWI584667B (zh) 多請求的排程方法及排程裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6459548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150