JP2011145833A - データ分散管理システム及びデータ分散管理方法 - Google Patents
データ分散管理システム及びデータ分散管理方法 Download PDFInfo
- Publication number
- JP2011145833A JP2011145833A JP2010005206A JP2010005206A JP2011145833A JP 2011145833 A JP2011145833 A JP 2011145833A JP 2010005206 A JP2010005206 A JP 2010005206A JP 2010005206 A JP2010005206 A JP 2010005206A JP 2011145833 A JP2011145833 A JP 2011145833A
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- processing
- image data
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】撮像部と、配信ノードと、一つ以上の処理ノードと、蓄積ノードと、指示ノードと、を備えたデータ分散管理システムである。このデータ分散管理システムにおいて各々のノードは、他ノードとの間で状態通知を繰り返し送受信する。配信ノードは、撮像部から画像データを取得した場合、状態通知に基づいて配信先ノードを決定し、画像データを配信する。処理ノードは、配信ノードから配信された画像データを蓄積し、指示ノードによる検査処理の実行指示に従って検査処理を実行し、検査結果を蓄積ノードへ送信する。蓄積ノードは、配信ノードから配信された画像データ、及び、処理ノードから受信した検査結果を蓄積する。
【選択図】図1
Description
図1は、本発明の実施の形態のデータ分散管理方法の概要を示す図である。図1に示すデータ分散管理システム1は、撮像部211、配信ノード212、一つ以上の処理ノード213、一つ以上の蓄積ノード214、指示ノード215等を備える。このデータ分散管理システム1は、本発明の実施の形態のデータ分散処理方法を実施する。
図2は、本発明の実施の形態の装置内データ処理システム201の概要を示す図である。図2に示す装置内データ処理システム201は、図1のデータ分散管理システム1に対応する。この装置内データ処理システム201は、図1に示す各構成要素に加え、中継ノード216を備える。なお、以下では前述の図1と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。
図3は、本発明の実施の形態の装置内データ処理システム201を構成する各ノード間の全体処理シーケンスを示す図である。ここでは、装置内データ処理システム201を構成する撮像部211、配信ノード212、処理ノード213、蓄積ノード214、指示ノード215、中継ノード216及び外部端末202のノード間の処理を説明する。
まず、各ノードが、自ノードの状態及び自ノードの保有データの状態等の情報を格納する状態通知メッセージ105(図1参照)を、自ノード以外のノードに対して定期的に送信する処理、及び、他ノードからの状態通知メッセージ105を受信する処理について説明する。
次に、配信ノード212が、撮像部211によって生成された画像データを取得し、他ノードに対して配信する処理について説明する。
次に、処理ノード213が、指示ノード215によって検査処理の実行を指示されると、自ノードに蓄積された画像データを対象とした検査処理を実行する処理について説明する。
次に、中継ノード216が、外部端末202からデータ要求を受付け、このデータ要求に応じた応答を返す処理について説明する。
図4は、本発明の実施の形態の配信ノード212のモジュール構成を示す図である。
図5は、本発明の実施の形態の処理ノード213のモジュール構成を示す図である。
図6は、本発明の実施の形態の蓄積ノード214のモジュール構成を示す図である。
図7は、本発明の実施の形態の指示ノード215のモジュール構成を示す図である。
図8は、本発明の実施の形態の中継ノード216のモジュール構成を示す図である。
図9は、本発明の実施の形態の画像データの配信処理の手順を示すフローチャートである。ここでは、配信ノード212による画像データの配信処理について図4も参照して説明する。
図10Aは、本発明の実施の形態の画像データの受信処理の手順を示すフローチャートである。ここでは、処理ノード213、蓄積ノード214が、配信ノード212から配信された画像データを受信する処理について説明する。
図10Bは、本発明の実施の形態の画像データの管理処理の手順を示すフローチャートである。ここでは、受信ノードが、受信した画像データに対して実施する蓄積、転送、削除等の管理処理について説明する。
図11Aは、本発明の実施の形態の状態通知メッセージの送信処理の手順を示すフローチャートである。ここでは、各ノードが、他ノードに対して状態通知メッセージ(図1の状態通知メッセージ105)を送信する処理の詳細について説明する。
図11Bは、本発明の実施の形態の状態通知メッセージの受信処理の手順を示すフローチャートである。ここでは、各ノードが、他ノードから状態通知メッセージ(図1の状態通知メッセージ105)を受信する処理の詳細について説明する。
図12は、本発明の実施の形態の状態通知メッセージ1201の一例を示す図である。
図13は、本発明の実施の形態の状態管理テーブルの構成を示す図である。状態管理テーブルは、前述のように、各ノードが自ノードの状態及び保有データに関する情報及び他ノードの状態及び保有データに関する情報を格納するためのテーブルである。各ノードは、他ノードから状態通知メッセージ(図12参照)を受信する度に、この状態管理テーブルに上書きして書込む。
図14Aは、本発明の実施の形態の処理ノード213に障害が発生した場合の処理引継ぎの第一のシーケンスを示す図である。ここでは、複数の処理ノードA213A、B213B、C213Cのうちの一つの処理ノードB213Bに障害が発生した場合の処理引継ぎの第一の例について説明する。
図15は、本発明の実施の形態の蓄積ノード214に障害が発生した場合の処理引継ぎのシーケンスを示す図である。ここでは、蓄積ノード214に障害が発生した場合の処理引継ぎの一例について説明する。
105、1201 状態通知メッセージ
106 画像データ
201 装置内データ処理システム
211 撮像部
212 配信ノード
213 処理ノード
214 蓄積ノード
215 指示ノード
216 中継ノード
421、521、621、721、821 状態管理テーブル
422 データ配信先グループ決定ポリシー
423 アプリケーション事前定義情報
Claims (14)
- 検査対象を繰り返し撮像することによって、画像データを連続的に生成する撮像部と、前記撮像部によって生成された画像データを取得し、他ノードに配信する配信ノードと、前記配信された画像データに検査処理を実行する一つ以上の処理ノードと、前記配信された画像データ及び前記処理ノードによる検査結果を蓄積する一つ以上の蓄積ノードと、前記処理ノードに対して検査処理の実行を指示する指示ノードと、を備えたデータ分散管理システムであって、
前記配信ノード、前記処理ノード、前記蓄積ノード、及び、前記指示ノードの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記プロセッサに接続されたインタフェースとを備え、
前記配信ノード、前記処理ノード、前記蓄積ノード、及び、前記指示ノードの各々は、他ノードに対して、自ノードの状態及び自ノードが保有する画像データに関する情報を含む状態通知を繰り返し送信し、
他ノードから受信した他ノードの状態通知を蓄積し、
前記配信ノードは、前記撮像部から画像データを取得した場合、前記他ノードの状態通知に基づいて、取得した画像データの配信先のノードを決定し、
決定された前記配信先のノードに前記取得した画像データを配信し、
前記配信ノードから配信された画像データを受信した各ノードは、受信した画像データを蓄積し、
前記処理ノードは、前記配信ノードから配信された画像データを蓄積し、
前記指示ノードから検査処理の実行指示を受信した場合、前記蓄積された画像データに検査処理を実行し、
検査結果を前記蓄積ノードへ送信し、
前記蓄積ノードは、前記配信ノードから配信された画像データ、及び、前記処理ノードから受信した検査結果を蓄積することを特徴とするデータ分散管理システム。 - 前記状態通知は、ノードの状態の情報として、ノードの負荷状態、ディスク残容量、実行中のアプリケーションの種別、前記実行中のアプリケーションにおける実行中のステップ及び次に実行されるステップに関する情報を含み、
前記配信ノードは、各々のノードの前記ノードの状態の情報に基づいて、前記配信先のノードを決定することを特徴とする請求項1に記載のデータ分散管理システム。 - 前記配信ノードは、前記配信先のノードを決定するための条件を定義したデータ配信先グループ決定ポリシーを保持し、前記データ配信先グループ決定ポリシーに基づいて、前記配信先のノードを決定することを特徴とする請求項1に記載のデータ分散管理システム。
- 前記配信ノード、前記処理ノード、前記蓄積ノード、及び、前記指示ノードの各々は、
他ノードから受信した状態通知から、前記他ノードの状態及び保有データに関する情報を抽出し、抽出された前記情報を自ノードに上書きして格納することによって、前記状態通知を前記他ノードと共有することを特徴とする請求項1に記載のデータ分散管理システム。 - 前記処理ノード、及び、前記蓄積ノードの各々は、自ノードのディスク残容量が所定の閾値以下であり、且つ、自ノードが保有する画像データが他ノードによって保有されていることを、前記状態通知に基づいて検出した場合、前記自ノードが保有する画像データを自ノードから削除することを特徴とする請求項1に記載のデータ分散管理システム。
- 前記処理ノード、及び、前記蓄積ノードの各々は、自ノードのディスク残容量が所定の閾値以下であり、且つ、自ノードが保有する画像データが他ノードによって保有されていないことを、前記状態通知に基づいて検出した場合、前記自ノードが保有する画像データをシステム外部のデータサーバに移動することを特徴とする請求項1に記載のデータ分散管理システム。
- システム外部からデータ要求を受信し、受信した前記データ要求に応じたデータを応答として送信する中継ノードをさらに備え、
前記中継ノードは、前記データ要求を受信すると、前記他ノードの状態通知に基づいて前記データ要求に応じたデータを保有するノードを検索し、その後前記データを保有するノードから前記データを取得し、取得された前記データを応答として送信することを特徴とする請求項1に記載のデータ分散管理システム。 - 前記処理ノードが複数存在し、且つ、検査処理実行中の処理ノードに障害が発生した場合、
他の処理ノードは、自ノードに蓄積された前記他のノードの状態通知に基づいて障害が発生した処理ノードを検出し、前記障害が発生した処理ノードによって検査処理実行中の画像データと同一の画像データを前記他の処理ノードが保有する場合には、該画像データに検査処理を実行することを特徴とする請求項1に記載のデータ分散管理システム。 - 前記処理ノードが複数存在し、且つ、検査処理実行中の処理ノードに障害が発生した場合、
前記指示ノードは、自ノードに蓄積された前記他のノードの状態通知に基づいて障害が発生した処理ノードを検出し、前記障害が発生した処理ノードによって検査処理実行中の画像データと同一の画像データを他の処理ノードが保有する場合には、前記画像データの検査処理の実行を前記他の処理ノードに指示することを特徴とする請求項1に記載のデータ分散管理システム。 - 検査対象を繰り返し撮像することによって、画像データを連続的に生成する撮像部と、前記撮像部によって生成された画像データを取得し、他ノードに配信する配信ノードと、前記配信された画像データに検査処理を実行する一つ以上の処理ノードと、前記配信された画像データ及び前記処理ノードによる検査結果を蓄積する一つ以上の蓄積ノードと、前記処理ノードに対して検査処理の実行を指示する指示ノードと、を備えたデータ分散管理システムにおけるデータ分散管理方法であって、
前記配信ノード、前記処理ノード、前記蓄積ノード、及び、前記指示ノードの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記プロセッサに接続されたインタフェースとを備え、
前記方法は、
前記配信ノード、前記処理ノード、前記蓄積ノード、及び、前記指示ノードの各々が、他ノードに対して、自ノードの状態及び自ノードが保有する画像データに関する情報が格納された状態通知を繰り返し送信し、他ノードから受信した他ノードの状態通知を蓄積する手順と、
前記配信ノードが、前記撮像部から画像データを取得した場合、前記他ノードの状態通知に基づいて、取得した画像データの配信先のノードを決定し、決定された配信先のノードに前記取得した画像データを配信する手順と、
前記配信ノードから配信された画像データを受信した各ノードが、受信した画像データを蓄積する手順と、
前記処理ノードが、前記配信ノードから配信された画像データを蓄積し、前記指示ノードから検査処理の実行指示を受信した場合、前記蓄積された画像データに検査処理を実行し、検査結果を前記蓄積ノードへ送信する手順と、
前記蓄積ノードが、前記配信ノードから配信された画像データ、及び、前記処理ノードから受信した検査結果を蓄積する手順と、
を含むことを特徴とするデータ分散管理方法。 - 前記状態通知は、ノードの状態の情報として、ノードの負荷状態、ディスク残容量、実行中アプリケーションの種別、前記実行中アプリケーションにおける実行中のステップ及び次に実行されるステップに関する情報を含み、
前記配信する手順において、前記配信ノードは、各々のノードの前記ノードの状態の情報に基づいて、前記配信先のノードを決定することを特徴とする請求項10に記載のデータ分散管理方法。 - 前記データ分散管理システムは、システム外部からデータ要求を受信し、受信した前記データ要求に応じたデータを応答として送信する中継ノードをさらに備え、
前記方法は、
前記中継ノードが、前記データ要求を受信すると、前記他ノードの状態通知に基づいて前記データ要求に応じたデータを保有するノードを検索する手順と、
その後前記データを保有するノードから前記データを取得する手順と、
取得された前記データを応答として送信する手順と、
を含むことを特徴とする請求項10に記載のデータ分散管理方法。 - 前記方法は、
前記処理ノードが複数存在し、且つ、検査処理実行中の処理ノードに障害が発生した場合、他の処理ノードが、自ノードに蓄積された前記他のノードの状態通知に基づいて障害が発生した処理ノードを検出する手順と、
前記障害が発生した処理ノードによって検査処理実行中の画像データと同一の画像データを前記他の処理ノードが保有する場合には、該画像データに検査処理を実行する手順と、
を含むことを特徴とする請求項10に記載のデータ分散管理方法。 - 前記方法は、
前記処理ノードが複数存在し、且つ、検査処理実行中の処理ノードに障害が発生した場合に、前記指示ノードが、自ノードに蓄積された前記他のノードの状態通知に基づいて障害が発生した処理ノードを検出する手順と、
前記障害が発生した処理ノードによって検査処理実行中の画像データと同一の画像データを他の処理ノードが保有する場合には、前記画像データの検査処理の実行を前記他の処理ノードに指示する手順と、
を含むことを特徴とする請求項10に記載のデータ分散管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005206A JP5408620B2 (ja) | 2010-01-13 | 2010-01-13 | データ分散管理システム及びデータ分散管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005206A JP5408620B2 (ja) | 2010-01-13 | 2010-01-13 | データ分散管理システム及びデータ分散管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145833A true JP2011145833A (ja) | 2011-07-28 |
JP5408620B2 JP5408620B2 (ja) | 2014-02-05 |
Family
ID=44460634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005206A Expired - Fee Related JP5408620B2 (ja) | 2010-01-13 | 2010-01-13 | データ分散管理システム及びデータ分散管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5408620B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014102691A (ja) * | 2012-11-20 | 2014-06-05 | Toshiba Corp | 情報処理装置、通信機能を持つカメラ、および情報処理方法 |
JP2017146679A (ja) * | 2016-02-15 | 2017-08-24 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | リスト作成装置、処理装置、リソース情報取得システム、分散処理システム、リスト作成方法及び分散処理方法 |
CN111124316A (zh) * | 2019-12-30 | 2020-05-08 | 青岛海尔科技有限公司 | 存储空间的共享方法和装置及计算机可读存储介质 |
WO2020148959A1 (ja) * | 2019-01-15 | 2020-07-23 | ソニー株式会社 | サーバおよび学習システム |
CN112036502A (zh) * | 2020-09-07 | 2020-12-04 | 杭州海康威视数字技术股份有限公司 | 图像数据比对方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114481A (ja) * | 1993-10-15 | 1995-05-02 | Nippon Avionics Co Ltd | 複数システムのバックアップ方法 |
JPH10162130A (ja) * | 1996-12-02 | 1998-06-19 | Hitachi Ltd | 並列データ処理装置および方法 |
JP2009245264A (ja) * | 2008-03-31 | 2009-10-22 | Nec Corp | バックアップ管理システム、方法、及び、プログラム |
JP2009277120A (ja) * | 2008-05-16 | 2009-11-26 | Fujitsu Ltd | サーバシステム |
-
2010
- 2010-01-13 JP JP2010005206A patent/JP5408620B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114481A (ja) * | 1993-10-15 | 1995-05-02 | Nippon Avionics Co Ltd | 複数システムのバックアップ方法 |
JPH10162130A (ja) * | 1996-12-02 | 1998-06-19 | Hitachi Ltd | 並列データ処理装置および方法 |
JP2009245264A (ja) * | 2008-03-31 | 2009-10-22 | Nec Corp | バックアップ管理システム、方法、及び、プログラム |
JP2009277120A (ja) * | 2008-05-16 | 2009-11-26 | Fujitsu Ltd | サーバシステム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014102691A (ja) * | 2012-11-20 | 2014-06-05 | Toshiba Corp | 情報処理装置、通信機能を持つカメラ、および情報処理方法 |
JP2017146679A (ja) * | 2016-02-15 | 2017-08-24 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | リスト作成装置、処理装置、リソース情報取得システム、分散処理システム、リスト作成方法及び分散処理方法 |
WO2020148959A1 (ja) * | 2019-01-15 | 2020-07-23 | ソニー株式会社 | サーバおよび学習システム |
JP7409326B2 (ja) | 2019-01-15 | 2024-01-09 | ソニーグループ株式会社 | サーバおよび学習システム |
CN111124316A (zh) * | 2019-12-30 | 2020-05-08 | 青岛海尔科技有限公司 | 存储空间的共享方法和装置及计算机可读存储介质 |
CN111124316B (zh) * | 2019-12-30 | 2023-12-19 | 青岛海尔科技有限公司 | 存储空间的共享方法和装置及计算机可读存储介质 |
CN112036502A (zh) * | 2020-09-07 | 2020-12-04 | 杭州海康威视数字技术股份有限公司 | 图像数据比对方法、装置及系统 |
CN112036502B (zh) * | 2020-09-07 | 2023-08-08 | 杭州海康威视数字技术股份有限公司 | 图像数据比对方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5408620B2 (ja) | 2014-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645152B2 (en) | Information processing apparatus and memory control method for managing connections with other information processing apparatuses | |
JP5714571B2 (ja) | キャッシュクラスタを構成可能モードで用いるキャッシュデータ処理 | |
US9154382B2 (en) | Information processing system | |
US20130205017A1 (en) | Computer failure monitoring method and device | |
US20060224785A1 (en) | Device and method for input and output of data | |
JP5408620B2 (ja) | データ分散管理システム及びデータ分散管理方法 | |
US20080148272A1 (en) | Job allocation program, method and apparatus | |
US9210059B2 (en) | Cluster system | |
WO2019148716A1 (zh) | 数据传输方法、服务器及存储介质 | |
JP6272190B2 (ja) | 計算機システム、計算機、負荷分散方法及びそのプログラム | |
JP5323554B2 (ja) | ジョブ処理方法、ジョブ処理プログラムを格納したコンピュータ読み取り可能な記録媒体、および、ジョブ処理システム | |
US8898312B2 (en) | Element terminal and communication system | |
US20130205162A1 (en) | Redundant computer control method and device | |
EP3031172B1 (en) | Managing data feeds | |
JP2008283608A (ja) | 冗長化された通信経路を切り替える計算機、プログラム及び方法 | |
US20140082232A1 (en) | Administration device, information processing device, and data transfer method | |
JP2010044553A (ja) | データ処理方法、クラスタシステム、及びデータ処理プログラム | |
US8036105B2 (en) | Monitoring a problem condition in a communications system | |
JP6117345B2 (ja) | 処理性能低下を回避するメッセージシステム | |
JP2016201795A (ja) | シンクノード状態の監視方法、装置及びシステム | |
KR101883671B1 (ko) | 노드 분산 방법 및 이를 수행하는 관리 서버 | |
JP2006246152A (ja) | パケット転送装置、パケット転送ネットワークシステムおよびパケット転送方法 | |
CN112995217B (zh) | 数据发送方法、系统 | |
JP4485560B2 (ja) | コンピュータ・システム及びシステム管理プログラム | |
JPWO2009101908A1 (ja) | 監視マネージャ、統括マネージャおよびノード監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
LAPS | Cancellation because of no payment of annual fees |