JP2005275846A - データファイル自動収集システム、データファイル自動収集方法およびそのためのプログラム - Google Patents

Abstract

【課題】 ネットワークおよびサーバの負荷を増大させることのないように収集対象ＰＣのファイル送信のスケジューリングを行い、またユーザ側の操作を極力減少させ、効率のよい情報収集を可能とするファイル自動収集技術を提供すること。
【解決手段】 調査データファイル送信装置１４から送付される収集対象別詳細情報１６（ファイルサイズやレコード件数など）を事前に調査データファイル受信装置２９側に収集しておき、収集スケジュールファイル作成部１７で該収集対象別詳細情報１６と予め決められている収集必要日数に基づいてネットワーク負荷、サーバ負荷を考慮した収集スケジュールファイルを作成する。次に、そのスケジュールに従って調査データファイル送信装置１４から収集対象ファイル（収集データファイル４）を自動的に収集する。
【選択図】 図１

Description

本発明はネットワークを構成する各装置（以下、ネットワーク構成要素と記載する）から送信されるデータを収集する技術に係り、各ネットワーク構成要素からのデータ送信を事前にスケジューリングし、サーバの負荷を軽減し効率よく収集するために好適なデータファイル自動収集システム、データファイル自動収集方法およびそのためのプログラムに関するものである。

ネットワーク上に設けられた各コンピュータから各種情報を自動的に収集するシステムとして、例えば、特開２００３−１９６２４８号公報（特許文献１）記載の自動情報収集システムがある。

特許文献１に記載の自動情報収集システムは、電気通信回線により互いに通信可能に接続された複数のコンピュータそれぞれから各種情報を収集するシステムであって、一つの認証管理サーバと、一つの移動オブジェクト管理サーバと、その他のコンピュータそれぞれに設ける移動管理サーバとを有し、前記認証管理サーバは、予め、自身および他のサーバを認証する認証情報を生成したうえで、生成した前記認証情報を前記移動管理サーバに供給するものであり、前記移動オブジェクト管理サーバは、各移動管理サーバの間を前記電気通信回線を介して自律的に移動する移動オブジェクトを生成したうえで、生成した移動オブジェクトに、移動中に寄り付いたコンピュータから前記各種情報を自動収集するソフトウエアを搭載するものであり、かつ、前記移動オブジェクト管理サーバと前記移動管理サーバとは、任意の移動管理サーバとの間で、前記移動オブジェクトからの情報に基づいて前記電気通信回線を介した前記情報収集ソフトウエア搭載済移動オブジェクトの送受信操作を実行するとともに、その通信に際して、前記認証情報に基づいて前記任意の移動管理サーバとの間で認証を実行し、認証が成功した前記任意の移動管理サーバに対して、情報収集ソフトウエア搭載済移動オブジェクトの送受信操作を実行するものとなっている。これによりネットワーク上に設けられた各コンピュータから各種情報を収集する作業を、システムの安全運用を維持しつつ自動化している。

特開２００３−１９６２４８号公報

しかしながら、一般に、LAN（Local Area Network：構内情報通信網）やWAN（Wide Area Network：広域通信網）などのネットワークは、その利用形態、使用頻度、障害発生状況などにより、時間の経過と共に稼動状況が変化する。

この稼動状況の変化は、ネットワークやそのネットワークが接続するサーバの性能に大きな影響を与える。例えば、大量データの転送がデータ収集サーバに集中した場合には、データ収集サーバの負荷やネットワークの負荷が増大して輻輳状態になる可能性があるため、ネットワークトラフィックの分散が重要な課題となっている。

上述した従来の技術においても、情報収集側で予め決定している収集期限までに収集対象ユーザのＰＣからサーバにデータファイルを送信する業務形態において、収集対象となるユーザ数が大数の場合は収集期限間際にサーバへのファイル送信が集中し、ネットワーク負荷やサーバ負荷が問題となり、負荷を分散させるためにクライアントのユーザ側に指定された日時に操作させる等の運用的な制限が必要であった。

本発明の目的は、上記従来の技術の問題点を解決し、ネットワークおよびサーバの負荷を増大させることのないように収集対象ＰＣのファイル送信のスケジューリングを行い、またユーザ側の操作を極力減少させ、効率のよい情報収集を可能とするファイル自動収集技術を提供することである。

本発明は、上記目的を達成するために、まず、収集対象となる各ユーザ側ＰＣ（実施例では調査データファイル送信装置）から送付されるファイル情報（ファイルサイズやレコード件数など）を事前にサーバ（実施例では調査データファイル受信装置）側に収集しておき、そのファイル情報に基づいてサーバでネットワーク負荷、サーバ負荷を考慮した収集スケジュールを作成する。次に、そのスケジュールに従って収集元のユーザ側ＰＣから収集対象ファイルを自動的に収集するようにしたものである。

本発明は、上記構成を採用することにより、大量ファイル収集時に、ネットワーク負荷、サーバ負荷およびユーザの操作を最小限に抑えることができるという効果を奏する。

以下、本発明の一実施形態を、図面を用いて詳細に説明する。

図１は、本発明に係る構成の一実施例を示すシステム構成図である。
本実施例のファイル自動収集システムにおいて、クライアント側には、ユーザ情報作成部１、アプリケーションプログラム３、調査データファイル格納部５、ファイル収集システム部６、エラーファイル格納部７、ファイル送信部８、ファイル受信部９、ログイン要求部１３等からなる調査データファイル送信装置１４を設けている。

一方、このクライアント側の調査データファイル送信装置１４にネットワーク１５を介して設けられているサーバ側には、収集スケジュールファイル作成部１７、ログイン処理部１９、ファイル受信部２０、ファイル振分部２１、ユーザ情報ファイル格納部２２、ユーザ情報ファイル分析部２３、調査データファイル格納部２５、ファイル送信部２８等からなる調査データファイル受信装置２９を設けている。

上記調査データファイル送信装置１４および調査データファイル受信装置２９は、ＣＰＵ、各種プログラムおよび各種データを格納するメモリ、外部記憶装置、入力装置、出力装置などを備えたコンピュータにより構成され、ＣＰＵにより各種プログラムを実行することにより、本発明で必要な各種処理を実現するものとする。

調査データファイル送信装置１４では、まず、収集対象ユーザが、ユーザ情報作成部１で、ユーザ情報ファイル２（ユーザ名称、メールアドレス等）を作成する。

ユーザ情報ファイル２は、ログイン情報ファイル１１を収集側（サーバ側）が作成する元となる情報を含んだファイルである。

ログイン情報ファイル１１は、アプリケーションプログラム３によって作成された調査データファイル４を送信するファイル収集システム部６にログイン１２するために必要となる情報ファイルである。

アプリケーションプログラム３は、各収集対象ユーザ単位に調査データファイル４を作成し、調査データファイル格納部５に格納する。

なお、アプリケーションプログラム３にてエラーチェックを行い、エラーのある調査データファイル４はファイル出力できないものとし、アプリケーションプログラム３で作成された調査データファイル４はファイル送信後のサーバ側での形式チェックは行わないこととする。

調査データファイル４を送信する場合は、ファイル収集システム部６を介して送信前の調査データファイル４の形式をチェックし、ＯＫならファイル送信部８へ、ＮＧならエラーファイル格納部７に格納する。

調査データファイル４は、ファイル送信部８よりネットワーク１５を経由してサーバ側の調査データファイル受信装置２９のファイル受信部２０に送信される。調査データファイル４を自動送信する場合には、該調査データファイル４は、サーバから送信される収集スケジュールファイル１０とログイン情報ファイル１１に従い、指定される時間に事前ログインした上で、あらかじめファイル送信部８に格納しておく。

調査データファイル受信装置２９では、予め決定して記憶部（図示せず）に保持している収集対象別詳細情報１６（収集対象ユーザ、ファイル提出期限、ファイル総数、ファイルサイズ総計等）と収集必要日数（算出方法は下記参照）をもとに収集スケジュールファイル作成部１７にて収集スケジュールファイル１８を作成する。

収集対象別詳細情報１６のうち、収集対象ユーザおよびファイル提出期限は収集側で決めるもので、ファイル総数およびファイルサイズ総計は自動計算する。また、収集必要日数Ｄは、収集対象調査データファイル数をＮ、サーバごとの時間単位の最大同時ファイル転送数をＦ、サーバ台数をＳ、１日あたりのブロック分割数をＭとすると、Ｄ＝Ｎ／（Ｍ×Ｆ×Ｓ）で算出する。

例えば、収集対象調査データファイル数を１０,０００、サーバごとの時間単位の最大同時ファイル転送数を１００、サーバ台数を２、１日あたりのファイル送信時間を１０分割にブロック化した場合（例：ファイル収集時間を平日９:００〜１９:００とし、１ユーザあたりのアップロード可能時間を１時間とする）の算出値はＤ＝１０,０００／（１０×１００×２）＝５（日）となる。

作成済の収集スケジュールファイル１８と収集必要日数の算出結果をもとに、ファイル収集提出期限よりＤ日前から収集を開始し（休日、祝日は考慮する）、１時間あたりＦ×Ｓ分の調査データファイル４を収集可能とするようにスケジューリングした収集スケジュールファイル１８（収集対象ユーザ単位）を作成する。

なお、スケジューリングする際はファイル収集提出期限をあらかじめ何段階かに設定しておき、第１提出期限までに収集できなかった調査データファイル４分を次の提出期限までに収集するよう、再スケジューリング〜再収集することを可能とするためのバッファを考慮しておく。

どの収集対象ユーザをどの時間帯に配置するかは機械的に振り分けるものとするが、収集する側で決定するようにしてもよい（例えば、ファイル作成状況が早い収集対象ユーザをスケジュールの前半に配置する等）。

配置した時間帯に送信できない収集対象ユーザがあれば、他の収集対象ユーザとスケジュールを交換する等、収集スケジュールファイル１８の再作成を行う。

第１提出期限までに調査データファイル４がすべて収集できなかった場合は、未収集の収集対象ユーザを対象に再度収集スケジュールファイル１８を作成し、第２提出期限までに収集対象ユーザから調査データファイル４を収集する。基本的に収集対象の全調査データファイル４の収集が完了するまでこの処理サイクルを繰り返す。

ファイル受信部２０では、調査データファイル送信装置１４のファイル送信部８よりネットワーク１５経由で送信される調査データファイル４を受信する。なお、調査データファイル４はファイル収集システム部６を介して受信することとし、ログイン処理部１９のチェックで認証される収集対象ユーザから送信されるデータのみ受信する。

クライアントチェック部２６では、収集対象ユーザのログイン状況、指定フォルダへの調査データファイル４格納状況をチェックし、ログイン１２済でかつ、指定フォルダに格納されている調査データファイル４のみ受信する。

ファイル収集指定時間にログイン１２していない場合、または指定フォルダに調査データファイル４が格納されていない場合は、エラー情報ファイル２７（例えば、指定時間に調査データファイル４を収集できなかった旨を記述したエラー情報）を担当者アドレスにメールで通知する。

ファイル送信指定日に調査データファイル４を送信できなかった場合は、次の提出期限までに未収集調査データファイル４を収集するようスケジューリングし、前述の方法で調査データファイル４を収集する。

ファイル振分部２１では、受信したファイルの種類がユーザ情報ファイル２または調査データファイル４のいずれかを判定し、ユーザ情報ファイル格納部２２または調査データファイル格納部２５に振り分けて格納する。

ユーザ情報ファイル分析部２３では、送信された各収集対象ユーザのユーザ情報ファイル２を分析し、収集対象ユーザ単位にファイル収集システム部６にログイン１２するために必要となるログイン情報ファイル２４を作成する。

ログイン情報ファイル２４と収集スケジュールファイル１８はファイル送信部２８よりネットワーク１５を経由して調査データファイル送信装置１４のファイル受信部９に送信される。

図２は、図１における本発明に係るクライアント（調査データファイル送信装置１４）側の処理動作例を示すフローチャートである。

図２に示すように、収集対象ユーザは、ファイル収集システム部６を利用するために、まず、ユーザ情報作成部１によりユーザ情報ファイル２（ユーザ名称、メールアドレス等）の登録を行い（ステップＳ２０１）、また、システムにログイン１２するために必要なログイン情報ファイル１１をサーバ（調査データファイル受信装置２９）側から受信する（ステップＳ２０２）。

また、アプリケーションプログラム３で調査データファイル４を作成するとともに（ステップＳ２０３）、調査データファイル４を作成する間にサーバ側から収集スケジュールファイル１０を受信する（ステップＳ２０４）。

この収集スケジュールファイル１０には、収集対象ユーザ名称、ファイル収集開始日時、ファイル収集終了日時の情報等が記載されている。

受信した収集スケジュールファイル１０のファイル収集開始日時、ファイル収集終了日時の間に送信可能であるか判断し（ステップＳ２０５）、送信可能な場合は（ステップＳ２０５：Ｙ）、収集スケジュールファイル１０に記されているファイル収集時間までに調査データファイル４を指定フォルダに格納する（ステップＳ２０７）。

送信不可の場合は（ステップＳ２０５：Ｎ）、収集スケジュールファイル１０に送信不可のチェックと送信可能日を記述し、サーバにメール等で送信する（ステップＳ２０６）。（このとき、サーバ側は、このメール送信を受け、送信可能日に調査データファイル４を収集可能なスケジューリングを行い、収集スケジュールファイル１８を作成する（図３のステップＳ３０８参照））

調査データファイル４を自動で送信するためには、送信開始日時にファイル収集システム部６にログインしておく必要があるため、ファイル送信開始時刻までに事前にログイン１２しておく（ステップＳ２０８）。

ファイル送信開始時刻になると、ファイル収集システム部６内のファイル送信プログラム（図示せず）が起動し（ステップＳ２０９）、調査データファイル４を送信し、送信が完了したら（ステップＳ２１０）、ファイル収集システム部６からログアウトする（ステップＳ２１１）。

もしも、何らかの理由（ファイル収集指定時間にログイン１２していなかった場合、あるいは指定フォルダに調査データファイル４が格納されていなかった場合等）で収集スケジュールファイル１０に記載されていた日時に調査データファイル４を送信できなかった場合は、サーバよりファイル送信結果（失敗）がメールで通知され（ステップＳ２１３）、その後は再度ステップＳ２０４以降の処理を行う。

図３は、図１における本発明に係るサーバ側のファイル収集前の処理動作例を示すフローチャートである。

収集対象ユーザがファイル収集システム部６にログイン１２するために必要となるユーザＩＤとパスワードを発行する。サーバ側は、図３に示すように、収集対象ユーザから送信されるユーザ名称やメールアドレスなどを含むユーザ情報ファイル２を受信し（ステップＳ３０１）、ユーザＩＤとパスワードを決め、これらが記述されているログイン情報ファイル２４（収集対象ユーザ単位に作成）を作成し（ステップＳ３０２）、該作成したログイン情報ファイル２４を対応する収集対象ユーザに送信する（ステップＳ３０３）。

調査データファイル４の収集時は、収集状況をチェックし（ステップＳ３０４）、未収集ファイルがある場合（ステップＳ３０５：Ｙ）、提出期限を設定可能な日程であれば（ステップＳ３０６：Ｙ）、提出期限を設定し（ステップＳ３０７）、前述の収集対象別詳細情報１６（収集対象ユーザ、ファイル提出期限、ファイル総数、ファイルサイズ総計等）と収集必要日数をもとに収集対象ユーザ別に収集スケジュールファイル１８を作成し（ステップＳ３０８）、各収集対象ユーザに収集スケジュールファイル１８を送信する（ステップＳ３０９）。

未収集の調査データファイルがない場合（ステップＳ３０５：Ｎ）、あるいは提出期限を設定可能な日程でない場合（ステップＳ３０６：Ｎ）には、処理を終了する。

第１回提出期限後、ステップＳ３０４以降の処理を行い、収集対象の全調査データファイル４の収集が完了するまでステップＳ３０４〜ステップＳ３０９の処理を繰り返す。

図４は、図１における本発明に係るサーバ側のファイル収集時の処理動作例を示すフローチャートである。

サーバは、収集スケジュールに応じて、各収集対象ユーザのログイン状況をチェックし（ステップＳ４０１）、ファイル収集開始日時にログイン１２済の収集対象ユーザのみを調査データファイル４の受信対象とする。

そして、ファイル収集開始日時に収集対象ユーザのファイル収集システム部６内のファイル送信プログラムを起動させることによって調査データファイル４を送信させる（ステップＳ４０２）。

該調査データファイル４をサーバで受信し（ステップＳ４０３）、サーバ上の規定のフォルダに格納する（ステップＳ４０４）。

調査データファイル４を受信する際に、各収集対象ユーザのログイン状況をチェックした結果、収集対象ユーザがファイル収集システム部６にログイン１２していない場合や、指定フォルダに調査データファイル４が格納されていない場合は（ステップＳ４０１：Ｎ）、エラー情報ファイルを作成し（ステップＳ４０５）、担当者アドレスにメールを送付する（ステップＳ４０６）。

なお、図１で示した収集対象ユーザ側の調査データファイル送信装置の各処理（図２のフローチャート参照）、サーバ側の調査データファイル受信装置の各処理(図３および図４のフローチャート参照）をプログラムコード化したプログラムを、収集対象ユーザのコンピュータ（調査データファイル送信装置）、サーバ側のコンピュータ（調査データファイル受信装置）にインストールし、コンピュータ内のＣＰＵやメモリなどのリソースを用いて実行することによって、これらの各処理をそれぞれのコンピュータに実現させることができる。

また、このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ，ＦＤ等のコンピュータ読み取り可能な記録媒体に記録して頒布したり、インターネット等のネットワークを介してユーザのコンピュータにダウンロードさせること等により広く市場に普及させることができる。

本発明は、多数の収集対象装置から各種情報を収集する全てのシステムに利用可能である。例えば、総務省が全国の地方公共団体（約１７,０００団体）に対して行っている国勢調査の調査データ収集に利用できる。これらの調査データは総務省のサーバに収集されるが、特定の日にサーバへのアクセス（データ送信）が集中しないように、地方公共団体単位に調査データファイルの送信日時をスケジューリングできる。

本発明に係るデータファイル自動収集システムに係る構成の一実施例を示すシステム構成図である。 図１における、本発明に係る収集対象ユーザ側の処理動作例を示すフローチャートである。 図１における、本発明に係るサーバ側のファイル収集前の処理動作例を示すフローチャートである。 図１における、本発明に係るサーバ側のファイル収集時の処理動作例を示すフローチャートである。

符号の説明

１ ユーザ情報作成部
２ ユーザ情報ファイル
３ アプリケーションプログラム
４ 調査データファイル
５ 調査データファイル格納部
６ ファイル収集システム部
７ エラーファイル格納部
８ ファイル送信部
９ ファイル受信部
１０ 収集スケジュールファイル
１１ ログイン情報ファイル
１２ ログイン
１３ ログイン要求部
１４ 調査データファイル送信装置
１５ ネットワーク
１６ 収集対象別詳細情報
１７ 収集スケジュールファイル作成部
１８ 収集スケジュールファイル
１９ ログイン処理部
２０ ファイル受信部
２１ ファイル振分部
２２ ユーザ情報ファイル格納部
２３ ユーザ情報ファイル分析部
２４ ログイン情報ファイル
２５ 調査データファイル格納部
２６ クライアントチェック部
２７ エラー情報ファイル
２８ ファイル送信部
２９ 調査データファイル受信装置

Claims (7)

1. クライアント装置に格納されているデータファイルをネットワーク経由でファイル収集サーバに収集するデータファイル自動収集システムであって、
   前記ファイル収集サーバは、前記クライアント装置で作成されるデータファイルの件数、容量の情報および予め決められる収集必要日数をもとに負荷分散に基づいたファイル収集スケジュールを自動的に作成する手段を有し、
   前記クライアント装置は、前記ファイル収集サーバで作成したファイル収集スケジュールに基づいて、前記クライアント装置に格納されているデータファイルの前記ファイル収集サーバへの送出を制御する手段を有することを特徴とするデータファイル自動収集システム。
2. クライアント装置に格納されているデータファイルをネットワーク経由でファイル収集サーバに収集するデータファイル自動収集システムであって、
   前記クライアント装置は、自装置において作成されたユーザ名称および電子メールアドレスを含むユーザ情報ファイルを前記ファイル収集サーバに送信する手段と、前記ファイル収集サーバから受信した前記ログイン情報ファイルおよび前記収集スケジュールファイルに基づいて前記データファイルの前記ファイル収集サーバへの送信を制御する手段とを有し、
   前記ファイル収集サーバは、前記クライアント装置から受信したユーザ情報ファイルをもとにユーザＩＤおよびパスワードを含むログイン情報ファイルを作成する手段と、収集対象別詳細情報および収集必要日数をもとに負荷分散に基づいた収集スケジュールファイルを作成する手段と、自サーバで作成された前記ログイン情報ファイルおよび前記収集スケジュールファイルを前記クライアント装置に送信する手段を有することを特徴とするデータファイル自動収集システム。
3. 前記収集対象別詳細情報は、少なくとも、クライアント装置で作成されるデータファイルの件数、容量の情報を含むことを特徴とする請求項２記載のデータファイル自動収集システム。
4. クライアント装置に格納されているデータファイルをネットワーク経由でファイル収集サーバに収集するデータファイル自動収集方法であって、
   前記クライアント装置で作成されるデータファイルの件数、容量の情報および予め決められる収集必要日数をもとに負荷分散に基づいたファイル収集スケジュールを自動的に作成し、該作成したファイル収集スケジュールに基づいて前記クライアント装置に格納されているデータファイルを前記ファイル収集サーバで収集することを特徴とするデータファイル自動収集方法。
5. クライアント装置に格納されているデータファイルをネットワーク経由でファイル収集サーバに収集するデータファイル自動収集方法であって、
   前記クライアント装置において作成されたユーザ名称および電子メールアドレスを含むユーザ情報ファイルを前記ファイル収集サーバに送信するステップと、
   前記ファイル収集サーバにおいて、前記クライアント装置から受信したユーザ情報ファイルをもとにユーザＩＤおよびパスワードを含むログイン情報ファイルを作成するステップと、
   前記ファイル収集サーバにおいて、収集対象別詳細情報および収集必要日数をもとに負荷分散に基づいた収集スケジュールファイルを作成するステップと、
   前記ファイル収集サーバで作成された前記ログイン情報ファイルおよび前記収集スケジュールファイルを前記クライアント装置に送信するステップと、
   前記クライアント装置において、前記ファイル収集サーバから受信した前記ログイン情報ファイルおよび前記収集スケジュールファイルに基づいて前記データファイルの前記ファイル収集サーバへの送信を制御するステップと
   を有することを特徴とするデータファイル自動収集方法。
6. 前記収集対象別詳細情報は、少なくとも、クライアント装置で作成されるデータファイルの件数、容量の情報を含むことを特徴とする請求項５記載のデータファイル自動収集方法。
7. クライアント装置に格納されているデータファイルをネットワーク経由でファイル収集サーバに収集するデータファイル自動収集用プログラムであって、
   請求項４から６のいずれかに記載のデータファイル自動収集方法における各ステップを、コンピュータに実現させるためのデータファイル自動収集用プログラム。

Images