JP2017520845A5 - - Google Patents

Download PDF

Info

Publication number
JP2017520845A5
JP2017520845A5 JP2016573756A JP2016573756A JP2017520845A5 JP 2017520845 A5 JP2017520845 A5 JP 2017520845A5 JP 2016573756 A JP2016573756 A JP 2016573756A JP 2016573756 A JP2016573756 A JP 2016573756A JP 2017520845 A5 JP2017520845 A5 JP 2017520845A5
Authority
JP
Japan
Prior art keywords
data
file
homogeneous
data set
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016573756A
Other languages
English (en)
Other versions
JP2017520845A (ja
Filing date
Publication date
Priority claimed from US14/335,558 external-priority patent/US20160019300A1/en
Application filed filed Critical
Publication of JP2017520845A publication Critical patent/JP2017520845A/ja
Publication of JP2017520845A5 publication Critical patent/JP2017520845A5/ja
Withdrawn legal-status Critical Current

Links

Claims (20)

  1. データ書込み操作用のデータのカテゴリに基づいて、前記データ書込み操作に利用可能なファイルを識別するためのシステムであって、
    少なくとも1つのプロセッサと、
    命令が記憶された1つまたは複数のコンピュータ読取り可能な記憶媒体と
    を備え、
    前記命令が、前記少なくとも1つのプロセッサによって実行されるのに応答して、
    ネットワークを介して、異種データのストリームを複数のデータソースから受信するステップと、
    前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種データを個々の同種データセットとして記憶するステップと、
    単一のカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
    指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることを確認するステップと、
    前記同種データセットに対するデータ書込み操作用のファイルを要求するステップであって、前記同種データセットに含まれるデータのカテゴリを指示する前記要求するステップと
    前記同種データセットを記憶するために識別されるファイルへのポインタを受信するステップと、
    前記ファイルに前記同種データセットを書き込む前記データ書込み操作を実行するステップと
    を含む操作を前記システムが実行できるようにするシステム。
  2. 前記操作がさらに、異なるデータ書き込み操作が前記ファイルにアクセスすることを妨げ、前記指示されたファイルをロックする要求を伝達するステップを含む、請求項1に記載のシステム。
  3. 前記要求がさらに、前記同種データセットのサイズを含む、請求項1に記載のシステム。
  4. 前記操作がさらに
    前記ファイルの要求に応答して、一群の利用可能なファイルから、前記指示されたカテゴリにマッチする候補ファイルのバッチを識別するステップと、
    候補ファイルの前記バッチから、前記ファイルを無作為に選択することで、前記ファイルを識別するステップと
    を含む、請求項1に記載のシステム。
  5. 前記操作がさらに、
    前記書き込み操作が成功したことを確認するステップと、
    前記書き込み操作に起因する前記ファイルの変更を持続するステップと
    を含む、請求項1に記載のシステム。
  6. ネットワークを介して、異種データのストリームを複数のデータソースから受信するステップと、
    前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種データを個々の同種データセットとして記憶するステップと、
    単一のカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
    指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることの指示を受信するステップと、
    前記指示されたカテゴリのデータを含む候補ファイルのバッチを識別するステップであって、前記要求によって指定された前記同種データセット用の書込みパラメータに基づいて前記候補ファイルを識別するステップを含み、前記書込みパラメータは、前記同種データセットの1つまたは複数のサイズ及び前記同種データセットのデータが収集された日付を含むステップと、
    候補ファイルの前記バッチからファイルを選択するステップと、
    前記同種データセットを前記永続記憶装置のための前記ファイルに書き込むために使用可能な前記選択されたファイルへのポインタを取得するステップと
    前記ポインタを用いて、前記ファイルに前記同種データセットを書き込む前記データ書込み操作を実行するステップと、
    前記永続記憶装置に前記同種データセットが書き込まれたことを確認するステップと
    を含む、コンピュータ実施方法。
  7. 候補ファイルの前記バッチが、利用可能なファイル、タイムアウトしたファイル、または両方の組合せを含む、請求項に記載の方法。
  8. 前記識別するステップが、前記書込みパラメータのうちの1つまたは複数を、前記候補ファイルに含まれるデータの属性にマッチされるステップを含む、請求項に記載の方法。
  9. ネットワークを介して、異種テレメトリデータのストリームを複数のデータソースから受信するステップと、
    前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種テレメトリデータを個々の同種データセットとして記憶するステップと、
    単一のテレメトリデータのカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
    テレメトリデータの指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることを確認するステップと、
    前記データセットを記憶するためのファイルを要求するステップであって、前記同種データセットに含まれるテレメトリデータの前記指示されたカテゴリ、および前記同種データセットのサイズを含むファイル問合せを伝達するステップを含むステップと、
    テレメトリデータの前記同一カテゴリのデータを前記同種データセットとして記憶するためのファイルへのポインタを受信するステップと、
    前記同種データセットを前記ファイルに書き込むために前記ポインタを使用してデータ書込み操作を実行するステップと
    を含む、方法。
  10. 前記ファイル問合せがさらに、前記データセット用の日付パラメータ、または前記同種データセットのサイズのうち1つまたは複数を含む、請求項に記載の方法。
  11. 前記データ書込み操作が完了したとの通知を伝達するステップと、
    前記データ書込み操作が正常終了したかどうかを示す通知を受信するステップと、
    前記データ書込み操作が正常終了したことを前記通知が示す場合に、記憶装置に首尾よくコミットされたものとして前記同種データセットにマーキングするステップと、
    前記データ書込み操作が正常終了しなかったことを前記通知が示す場合に、前記同種データセットに対して新規のデータ書込み操作を開始するステップと
    をさらに含む、請求項に記載の方法。
  12. 候補ファイルの前記バッチは、複数の様々な記憶位置からのファイルを含む、請求項6に記載の方法。
  13. 候補ファイルの前記バッチは、複数の様々な記憶位置からのファイルを含み、前記識別するステップは、前記複数の様々な記憶位置に位置するファイルについての状態認識を保持する記憶装置マネージャによって実行される、請求項6に記載の方法。
  14. 前記確認するステップは、1つまたは複数の前記同種データセットおよび前記個々のデータキューが閾値サイズを超えることを確認するステップを含む、請求項6に記載の方法。
  15. 前記異種データは、前記複数のデータソース間の通信事象から収集される異種テレメトリデータであり、前記複数のデータソースは、異なるユーザ装置、異なるシステムまたは異なるセンサの少なくともいずれかに対応する、請求項1に記載のシステム。
  16. 前記異種データは、複数の通信セッションに関連して開始される通信事象の属性を記述するメタデータを含む異種テレメトリデータである、請求項1に記載のシステム。
  17. 前記同種データセットが永続記憶装置に書き込まれることの前記指示は、前記個々のデータキューが閾値サイズを超えていることに応答して受信される、請求項6に記載の方法。
  18. 前記指示されたカテゴリのデータを含む不十分な候補ファイルが識別された場合に、前記指示されたカテゴリのデータにマッチするタイムアウトしたファイルが識別されるか確認するステップをさらに含み、
    タイムアウトしたファイルが前記指示されたカテゴリのデータにマッチすると識別された場合に、前記選択するステップは、タイムアウトしたファイルを選択するステップを含み、
    タイムアウトしたファイルが前記指示されたカテゴリのデータにマッチしないと識別された場合に、前記選択するステップは、新しいファイルをつくるステップを含む、請求項6に記載の方法。
  19. 前記選択されたファイルへの前記データ書込み操作が持続している個別の時間だけ、前記ロックタイマを延長するステップをさらに含む、請求項6に記載の方法。
  20. 前記データ書込み操作を実行するステップは、複数の同種データセットを複数の記憶位置にある複数のファイルに書き込む複数のデータ書込み操作を同時に実行するステップを含む、請求項6に記載の方法。

JP2016573756A 2014-07-18 2015-07-16 データ書込み操作用のファイルの識別 Withdrawn JP2017520845A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/335,558 US20160019300A1 (en) 2014-07-18 2014-07-18 Identifying Files for Data Write Operations
US14/335,558 2014-07-18
PCT/US2015/040670 WO2016011217A1 (en) 2014-07-18 2015-07-16 Identifying files for data write operations

Publications (2)

Publication Number Publication Date
JP2017520845A JP2017520845A (ja) 2017-07-27
JP2017520845A5 true JP2017520845A5 (ja) 2018-07-19

Family

ID=53783339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573756A Withdrawn JP2017520845A (ja) 2014-07-18 2015-07-16 データ書込み操作用のファイルの識別

Country Status (11)

Country Link
US (1) US20160019300A1 (ja)
EP (1) EP3146423A1 (ja)
JP (1) JP2017520845A (ja)
KR (1) KR20170035985A (ja)
CN (1) CN106537386A (ja)
AU (1) AU2015289651A1 (ja)
BR (1) BR112017000144A2 (ja)
CA (1) CA2955011A1 (ja)
MX (1) MX2017000774A (ja)
RU (1) RU2017101414A (ja)
WO (1) WO2016011217A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096065B2 (en) * 2015-01-16 2018-10-09 Red Hat, Inc. Distributed transactions with extended locks
CN108153744A (zh) * 2016-12-02 2018-06-12 上海中兴软件有限责任公司 一种数据存储维护方法及装置
US10514721B2 (en) 2017-05-08 2019-12-24 International Business Machines Corporation Validation of clock to provide security for time locked data
US10528435B2 (en) 2017-05-08 2020-01-07 International Business Machines Corporation Performance efficient time locks on data in a storage controller
US10514859B2 (en) * 2017-05-08 2019-12-24 International Business Machines Corporation Reduction of processing overhead for point in time copy to allow access to time locked data
US10691514B2 (en) 2017-05-08 2020-06-23 Datapipe, Inc. System and method for integration, testing, deployment, orchestration, and management of applications
US10489080B2 (en) 2017-05-08 2019-11-26 International Business Machines Corporation Point in time copy of time locked data in a storage controller
CN111694521B (zh) * 2020-06-17 2022-08-05 杭州海康威视系统技术有限公司 存储文件的方法、装置及系统
CN115758206B (zh) * 2022-11-07 2023-05-16 武汉麓谷科技有限公司 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148338A (en) * 1998-04-03 2000-11-14 Hewlett-Packard Company System for logging and enabling ordered retrieval of management events
DE69928222T2 (de) * 1999-04-23 2006-05-24 Sony Deutschland Gmbh Verfahren und System zum Versand von Information
US7191176B2 (en) * 2000-07-31 2007-03-13 Mccall Danny A Reciprocal data file publishing and matching system
US6671773B2 (en) * 2000-12-07 2003-12-30 Spinnaker Networks, Llc Method and system for responding to file system requests
US7054927B2 (en) * 2001-01-29 2006-05-30 Adaptec, Inc. File system metadata describing server directory information
US20030182420A1 (en) * 2001-05-21 2003-09-25 Kent Jones Method, system and apparatus for monitoring and controlling internet site content access
GB2405495B (en) * 2003-08-18 2006-09-20 Orchestria Ltd Data storage system
US7188127B2 (en) * 2003-10-07 2007-03-06 International Business Machines Corporation Method, system, and program for processing a file request
US8996486B2 (en) * 2004-12-15 2015-03-31 Applied Invention, Llc Data store with lock-free stateless paging capability
US8364670B2 (en) * 2004-12-28 2013-01-29 Dt Labs, Llc System, method and apparatus for electronically searching for an item
US8271548B2 (en) * 2005-11-28 2012-09-18 Commvault Systems, Inc. Systems and methods for using metadata to enhance storage operations
US9207997B2 (en) * 2007-08-09 2015-12-08 Novell, Inc. Multithreaded lock management
US20090043831A1 (en) * 2007-08-11 2009-02-12 Mcm Portfolio Llc Smart Solid State Drive And Method For Handling Critical Files
US7945587B2 (en) * 2007-10-10 2011-05-17 Microsoft Corporation Random allocation of media storage units
CN100578460C (zh) * 2007-12-21 2010-01-06 深圳市同洲电子股份有限公司 文件读写控制装置、系统及方法
US8620923B1 (en) * 2008-05-30 2013-12-31 Adobe Systems Incorporated System and method for storing meta-data indexes within a computer storage system
US7962458B2 (en) * 2008-06-12 2011-06-14 Gravic, Inc. Method for replicating explicit locks in a data replication engine
US20100094822A1 (en) * 2008-10-13 2010-04-15 Rohit Dilip Kelapure System and method for determining a file save location
US8542691B2 (en) * 2009-06-30 2013-09-24 Oracle International Corporation Classes of service for network on chips
US9575985B2 (en) * 2009-12-07 2017-02-21 Novell, Inc. Distributed lock administration
US20130024483A1 (en) * 2011-07-21 2013-01-24 Alcatel-Lucent Canada, Inc. Distribution of data within a database
US9805054B2 (en) * 2011-11-14 2017-10-31 Panzura, Inc. Managing a global namespace for a distributed filesystem
US8543576B1 (en) * 2012-05-23 2013-09-24 Google Inc. Classification of clustered documents based on similarity scores
US9734237B2 (en) * 2012-10-08 2017-08-15 Bmc Software, Inc. Progressive analysis for big data
US20140105218A1 (en) * 2012-10-12 2014-04-17 Prashant H. Anand Queue monitoring to filter the trend for enhanced buffer management and dynamic queue threshold in 4g ip network/equipment for better traffic performance
US9489445B2 (en) * 2013-03-13 2016-11-08 Nice Systems Ltd. System and method for distributed categorization
US9336258B2 (en) * 2013-10-25 2016-05-10 International Business Machines Corporation Reducing database locking contention using multi-version data record concurrency control
US10264071B2 (en) * 2014-03-31 2019-04-16 Amazon Technologies, Inc. Session management in distributed storage systems
US9563518B2 (en) * 2014-04-02 2017-02-07 Commvault Systems, Inc. Information management by a media agent in the absence of communications with a storage manager
US10169367B2 (en) * 2014-06-06 2019-01-01 Panzura, Inc. Managing opportunistic locks in a distributed file system
US9646022B2 (en) * 2014-06-06 2017-05-09 Panzura, Inc. Distributed change notifications for a distributed filesystem

Similar Documents

Publication Publication Date Title
JP2017520845A5 (ja)
US9128615B2 (en) Storage systems that create snapshot queues
EP3076283B1 (en) System and method for managing content deletion
JP2019521574A5 (ja)
JP2017538987A5 (ja)
JP2018514028A5 (ja)
JP2020509481A5 (ja)
JP2016526225A5 (ja)
US20160019119A1 (en) Prioritizing backup of files
JP2014526750A5 (ja)
JP2016522505A5 (ja)
RU2016136341A (ru) Система обработки информации, способ управления процессом данных, программа и носитель записи
US20140365429A1 (en) Method for issuing multipart receipts in connection to extensive database operations
RU2017101414A (ru) Идентификация файлов для операций записи данных
US9104320B2 (en) Data integrity protection in storage volumes
WO2017092603A1 (zh) 一种数据传递方法和设备
RU2015139875A (ru) Устройство обработки информации, система обработки информации и способ обработки информации
RU2017106051A (ru) Устройство и программа обработки информации
US20150079966A1 (en) Methods for facilitating telecommunication network administration and devices thereof
JP2016045839A5 (ja)
US9659041B2 (en) Model for capturing audit trail data with reduced probability of loss of critical data
JP2018149385A5 (ja)
JP2014134860A5 (ja)
US10838983B2 (en) Method of integrating remote databases by parallel update requests over a communications network
WO2016091140A1 (zh) 一种显示系统资源的方法及装置