JP2012533796A5 - - Google Patents

Claims (42)

1. 一または複数のデータソースからの複数のレコードを含む入力データのバッチを読み取ること、および、
   コンポーネント間のデータのフローを表すリンクによって接続された前記コンポーネントを表す２以上のノードを含むデータフローグラフであって、少なくとも１つであり且つ全てよりも少ないコンポーネントが前記レコードの一または複数に関連付けられたワークの複数のユニットのそれぞれに対するアクションについてのチェックポイント処理を含むデータフローグラフ、を通じて前記バッチを渡すこと、を含む、
   データのバッチ処理をフォールトトレラントに行う方法において、
   前記チェックポイント処理は、
   前記バッチの処理を開始するときに不揮発性メモリに格納されたチェックポイントバッファを開くこと、
   前記バッチからのワークの各ユニットについて、前記チェックポイントバッファにおいてワークの前記ユニットに対する前記アクションを実行した結果が既に保存されていれば、前記アクションを再び実行することなくワークの前記ユニットの処理を完了するために保存されている結果を用いること、または、前記チェックポイントバッファにワークの前記ユニットに対する前記アクションを実行した結果が保存されていなければ、ワークの前記ユニットの処理を完了するために前記アクションを実行して前記チェックポイントバッファにおいて前記アクションを実行した結果を保存すること、を含む、
   データのバッチ処理をフォールトトレラントに行う方法。
2. 請求項１に記載の方法において、
   前記アクションがリモートサーバとの通信を含む、データのバッチ処理をフォールトトレラントに行う方法。
3. 請求項２に記載の方法において、
   前記アクションを実行した結果が、ワークの前記ユニットについての前記リモートサーバとの通信からの情報を含む、データのバッチ処理をフォールトトレラントに行う方法。
4. 請求項１に記載の方法であって、
   前記バッチの処理が完了したときに前記チェックポイントバッファを消去することを更に含む、データのバッチ処理をフォールトトレラントに行う方法。
5. 請求項２に記載の方法において、
   前記リモートサーバとの通信が通知される、データのバッチ処理をフォールトトレラントに行う方法。
6. 請求項２に記載の方法において、
   前記リモートサーバとの通信の結果が、揮発性のメモリに格納され、トリガイベントが生じたときに前記チェックポイントバッファにグループ形式にて保存される、データのバッチ処理をフォールトトレラントに行う方法。
7. 請求項６に記載の方法において、
   前記トリガイベントが、チェックポイントマネージャからの信号である、データのバッチ処理をフォールトトレラントに行う方法。
8. 請求項６に記載の方法において、
   前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからのレコードの処理の数である、データのバッチ処理をフォールトトレラントに行う方法。
9. 請求項６に記載の方法において、
   前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからの時間の経過である、データのバッチ処理をフォールトトレラントに行う方法。
10. 請求項１に記載の方法において、
    前記チェックポイント処理を含むコンポーネントが、複数の処理デバイス上にて並行して実行される、データのバッチ処理をフォールトトレラントに行う方法。
11. 請求項１０に記載の方法において、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが前記バッチの実行の間にてコンシステントであり、それぞれの処理デバイスが独立したチェックポイントバッファを維持する、データのバッチ処理をフォールトトレラントに行う方法。
12. 請求項１０に記載の方法において、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが動的であり、前記処理デバイスが、シェアされた不揮発性メモリに格納された単一のチェックポイントバッファへのアクセスを、チェックポイントマネージャによって制御される前記チェックポイントバッファへの書き込みとともに、シェアする、データのバッチ処理をフォールトトレラントに行う方法。
13. 請求項１に記載の方法であって、
    フォールト状態が生じた後に前記データフローグラフにおける全ての前記コンポーネントを再スタートすること、
    一または複数のデータソースからの複数のレコードを含む入力データの前記バッチを読み取ること、
    前記データフローグラフを通じて前記バッチを渡すこと、
    を更に含む、データのバッチ処理をフォールトトレラントに行う方法。
14. 請求項１３に記載の方法において、
    前記アクションがリモートサーバと通信することを含む、データのバッチ処理をフォールトトレラントに行う方法。
15. 一または複数のデータソースからの複数のレコードを含む入力データのバッチを読み取る手段、および、
    コンポーネント間のデータのフローを表すリンクによって接続された前記コンポーネントを表す２以上のノードを含むデータフローグラフであって、少なくとも１つであり且つ全てよりも少ないコンポーネントが前記レコードの一または複数に関連付けられたワークの複数のユニットのそれぞれに対するアクションについてのチェックポイント処理を含むデータフローグラフ、を通じて前記バッチを渡す手段、を含む、
    データのバッチ処理をフォールトトレラントに行うためのシステムにおいて、
    前記チェックポイント処理は、
    前記バッチの処理を開始するときに不揮発性メモリに格納されたチェックポイントバッファを開くこと、
    前記バッチからのワークの各ユニットについて、前記チェックポイントバッファにおいてワークの前記ユニットに対する前記アクションを実行した結果が既に保存されていれば、前記アクションを再び実行することなくワークの前記ユニットの処理を完了するために保存されている結果を用いること、または、前記チェックポイントバッファにワークの前記ユニットに対する前記アクションを実行した結果が保存されていなければ、ワークの前記ユニットの処理を完了するために前記アクションを実行して前記チェックポイントバッファにおいて前記アクションを実行した結果を保存すること、を含む、
    データのバッチ処理をフォールトトレラントに行うためのシステム。
16. 請求項１５に記載のシステムにおいて、
    前記アクションがリモートサーバとの通信を含む、データのバッチ処理をフォールトトレラントに行うシステム。
17. 請求項１６に記載のシステムにおいて、
    前記アクションを実行した結果が、ワークの前記ユニットについての前記リモートサーバとの通信からの情報を含む、データのバッチ処理をフォールトトレラントに行うシステム。
18. 請求項１５に記載のシステムであって、
    前記バッチの処理が完了したときに前記チェックポイントバッファを消去することを更に含む、データのバッチ処理をフォールトトレラントに行うシステム。
19. 請求項１６に記載のシステムにおいて、
    前記リモートサーバとの通信が通知される、データのバッチ処理をフォールトトレラントに行うシステム。
20. 請求項１６に記載のシステムにおいて、
    前記リモートサーバとの通信の結果が、揮発性のメモリに格納され、トリガイベントが生じたときに前記チェックポイントバッファにグループ形式にて保存される、データのバッチ処理をフォールトトレラントに行うシステム。
21. 請求項２０に記載のシステムにおいて、
    前記トリガイベントが、チェックポイントマネージャからの信号である、データのバッチ処理をフォールトトレラントに行うシステム。
22. 請求項２０に記載のシステムにおいて、
    前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからのレコードの処理の数である、データのバッチ処理をフォールトトレラントに行うシステム。
23. 請求項２０に記載のシステムにおいて、
    前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからの時間の経過である、データのバッチ処理をフォールトトレラントに行うシステム。
24. 請求項１５に記載のシステムにおいて、
    前記チェックポイント処理を含むコンポーネントが、複数の処理デバイス上にて並行して実行される、データのバッチ処理をフォールトトレラントに行うシステム。
25. 請求項２４に記載のシステムにおいて、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが前記バッチの実行の間にてコンシステントであり、それぞれの処理デバイスが独立したチェックポイントバッファを維持する、データのバッチ処理をフォールトトレラントに行うシステム。
26. 請求項２４に記載のシステムにおいて、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが動的であり、前記処理デバイスが、シェアされた不揮発性メモリに格納された単一のチェックポイントバッファへのアクセスを、チェックポイントマネージャによって制御される前記チェックポイントバッファへの書き込みとともに、シェアする、データのバッチ処理をフォールトトレラントに行うシステム。
27. 請求項１５に記載のシステムであって、
    フォールト状態が生じた後に前記データフローグラフにおける全ての前記コンポーネントを再スタートすること、
    一または複数のデータソースからの複数のレコードを含む入力データの前記バッチを読み取ること、
    前記データフローグラフを通じて前記バッチを渡すこと、
    を更に含む、データのバッチ処理をフォールトトレラントに行うシステム。
28. 請求項２７に記載のシステムにおいて、
    前記アクションがリモートサーバと通信することを含む、データのバッチ処理をフォールトトレラントに行うシステム。
29. データストレージシステムと、
    前記データストレージシステムに接続された一または複数のプロセッサであって、
    （ａ）一または複数のデータソースからの複数のレコードを含む入力データのバッチを受け取り、
    （ｂ）コンポーネント間のデータのフローを表すリンクによって接続された前記コンポーネントを表す２以上のノードを含むデータフローグラフであって、少なくとも１つであり且つ全てよりも少ないコンポーネントが前記レコードの一または複数に関連付けられたワークの複数のユニットのそれぞれに対するアクションについてのチェックポイント処理を含むデータフローグラフ、を通じて前記バッチを渡す、
    実行環境を提供する、プロセッサと
    を含む、データのバッチ処理をフォールトトレラントに行うためのシステムにおいて、
    前記チェックポイント処理は、
    前記バッチの処理を開始するときに不揮発性メモリに格納されたチェックポイントバッファを開くこと、
    前記バッチからのワークの各ユニットについて、前記チェックポイントバッファにおいてワークの前記ユニットに対する前記アクションを実行した結果が既に保存されていれば、前記アクションを再び実行することなくワークの前記ユニットの処理を完了するために保存されている結果を用いること、または、前記チェックポイントバッファにワークの前記ユニットに対する前記アクションを実行した結果が保存されていなければ、ワークの前記ユニットの処理を完了するために前記アクションを実行して前記チェックポイントバッファにおいて前記アクションを実行した結果を保存すること、を含む、
    データのバッチ処理をフォールトトレラントに行うためのシステム。
30. 請求項２９に記載のシステムにおいて、
    前記アクションがリモートサーバとの通信を含む、データのバッチ処理をフォールトトレラントに行うシステム。
31. 請求項３０に記載のシステムにおいて、
    前記アクションを実行した結果が、ワークの前記ユニットについての前記リモートサーバとの通信からの情報を含む、データのバッチ処理をフォールトトレラントに行うシステム。
32. 請求項２９に記載のシステムであって、
    前記バッチの処理が完了したときに前記チェックポイントバッファを消去することを更に含む、データのバッチ処理をフォールトトレラントに行うシステム。
33. 請求項３０に記載のシステムにおいて、
    前記リモートサーバとの通信が通知される、データのバッチ処理をフォールトトレラントに行うシステム。
34. 請求項３０に記載のシステムにおいて、
    前記リモートサーバとの通信の結果が、揮発性のメモリに格納され、トリガイベントが生じたときに前記チェックポイントバッファにグループ形式にて保存される、データのバッチ処理をフォールトトレラントに行うシステム。
35. 請求項３４に記載のシステムにおいて、
    前記トリガイベントが、チェックポイントマネージャからの信号である、データのバッチ処理をフォールトトレラントに行うシステム。
36. 請求項３４に記載のシステムにおいて、
    前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからのレコードの処理の数である、データのバッチ処理をフォールトトレラントに行うシステム。
37. 請求項３４に記載のシステムにおいて、
    前記トリガイベントが、前記チェックポイントバッファへの最後の書き込みからの時間の経過である、データのバッチ処理をフォールトトレラントに行うシステム。
38. 請求項２９に記載のシステムにおいて、
    前記チェックポイント処理を含むコンポーネントが、複数の処理デバイス上にて並行して実行される、データのバッチ処理をフォールトトレラントに行うシステム。
39. 請求項３８に記載のシステムにおいて、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが前記バッチの実行の間にてコンシステントであり、それぞれの処理デバイスが独立したチェックポイントバッファを維持する、データのバッチ処理をフォールトトレラントに行うシステム。
40. 請求項３８に記載のシステムにおいて、
    前記複数の並行した処理デバイス間のデータレコードの割り当てが動的であり、前記処理デバイスが、シェアされた不揮発性メモリに格納された単一のチェックポイントバッファへのアクセスを、チェックポイントマネージャによって制御される前記チェックポイントバッファへの書き込みとともに、シェアする、データのバッチ処理をフォールトトレラントに行うシステム。
41. 請求項２９に記載のシステムであって、
    フォールト状態が生じた後に前記データフローグラフにおける全ての前記コンポーネントを再スタートすること、
    一または複数のデータソースからの複数のレコードを含む入力データの前記バッチを読み取ること、
    前記データフローグラフを通じて前記バッチを渡すこと、
    を更に含む、データのバッチ処理をフォールトトレラントに行うシステム。
42. 請求項４１に記載のシステムにおいて、
    前記アクションがリモートサーバと通信することを含む、データのバッチ処理をフォールトトレラントに行うシステム。