JP2017520845A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017520845A5 JP2017520845A5 JP2016573756A JP2016573756A JP2017520845A5 JP 2017520845 A5 JP2017520845 A5 JP 2017520845A5 JP 2016573756 A JP2016573756 A JP 2016573756A JP 2016573756 A JP2016573756 A JP 2016573756A JP 2017520845 A5 JP2017520845 A5 JP 2017520845A5
- Authority
- JP
- Japan
- Prior art keywords
- data
- file
- homogeneous
- data set
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims 11
- 230000002085 persistent effect Effects 0.000 claims 6
- 230000003139 buffering effect Effects 0.000 claims 3
- 230000000977 initiatory effect Effects 0.000 claims 1
Claims (20)
- データ書込み操作用のデータのカテゴリに基づいて、前記データ書込み操作に利用可能なファイルを識別するためのシステムであって、
少なくとも1つのプロセッサと、
命令が記憶された1つまたは複数のコンピュータ読取り可能な記憶媒体と
を備え、
前記命令が、前記少なくとも1つのプロセッサによって実行されるのに応答して、
ネットワークを介して、異種データのストリームを複数のデータソースから受信するステップと、
前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種データを個々の同種データセットとして記憶するステップと、
単一のカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることを確認するステップと、
前記同種データセットに対するデータ書込み操作用のファイルを要求するステップであって、前記同種データセットに含まれるデータのカテゴリを指示する前記要求するステップと、
前記同種データセットを記憶するために識別されるファイルへのポインタを受信するステップと、
前記ファイルに前記同種データセットを書き込む前記データ書込み操作を実行するステップと
を含む操作を前記システムが実行できるようにするシステム。 - 前記操作がさらに、異なるデータ書き込み操作が前記ファイルにアクセスすることを妨げ、前記指示されたファイルをロックする要求を伝達するステップを含む、請求項1に記載のシステム。
- 前記要求がさらに、前記同種データセットのサイズを含む、請求項1に記載のシステム。
- 前記操作がさらに、
前記ファイルの要求に応答して、一群の利用可能なファイルから、前記指示されたカテゴリにマッチする候補ファイルのバッチを識別するステップと、
候補ファイルの前記バッチから、前記ファイルを無作為に選択することで、前記ファイルを識別するステップと
を含む、請求項1に記載のシステム。 - 前記操作がさらに、
前記書き込み操作が成功したことを確認するステップと、
前記書き込み操作に起因する前記ファイルの変更を持続するステップと
を含む、請求項1に記載のシステム。 - ネットワークを介して、異種データのストリームを複数のデータソースから受信するステップと、
前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種データを個々の同種データセットとして記憶するステップと、
単一のカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることの指示を受信するステップと、
前記指示されたカテゴリのデータを含む候補ファイルのバッチを識別するステップであって、前記要求によって指定された前記同種データセット用の書込みパラメータに基づいて前記候補ファイルを識別するステップを含み、前記書込みパラメータは、前記同種データセットの1つまたは複数のサイズ及び前記同種データセットのデータが収集された日付を含むステップと、
候補ファイルの前記バッチからファイルを選択するステップと、
前記同種データセットを前記永続記憶装置のための前記ファイルに書き込むために使用可能な前記選択されたファイルへのポインタを取得するステップと、
前記ポインタを用いて、前記ファイルに前記同種データセットを書き込む前記データ書込み操作を実行するステップと、
前記永続記憶装置に前記同種データセットが書き込まれたことを確認するステップと
を含む、コンピュータ実施方法。 - 候補ファイルの前記バッチが、利用可能なファイル、タイムアウトしたファイル、または両方の組合せを含む、請求項6に記載の方法。
- 前記識別するステップが、前記書込みパラメータのうちの1つまたは複数を、前記候補ファイルに含まれるデータの属性にマッチされるステップを含む、請求項6に記載の方法。
- ネットワークを介して、異種テレメトリデータのストリームを複数のデータソースから受信するステップと、
前記ストリームをデータのカテゴリに応じて構文解析することで、前記異種テレメトリデータを個々の同種データセットとして記憶するステップと、
単一のテレメトリデータのカテゴリに対応する同種データセットを一時的に記憶する個々のデータキューに前記個々の同種データセットをバッファするステップと、
テレメトリデータの指示されたカテゴリの同種データセットが、前記指示されたカテゴリが取り込まれる個々のデータキューから永続記憶装置に書き込まれることを確認するステップと、
前記データセットを記憶するためのファイルを要求するステップであって、前記同種データセットに含まれるテレメトリデータの前記指示されたカテゴリ、および前記同種データセットのサイズを含むファイル問合せを伝達するステップを含むステップと、
テレメトリデータの前記同一カテゴリのデータを前記同種データセットとして記憶するためのファイルへのポインタを受信するステップと、
前記同種データセットを前記ファイルに書き込むために前記ポインタを使用してデータ書込み操作を実行するステップと
を含む、方法。 - 前記ファイル問合せがさらに、前記データセット用の日付パラメータ、または前記同種データセットのサイズのうち1つまたは複数を含む、請求項9に記載の方法。
- 前記データ書込み操作が完了したとの通知を伝達するステップと、
前記データ書込み操作が正常終了したかどうかを示す通知を受信するステップと、
前記データ書込み操作が正常終了したことを前記通知が示す場合に、記憶装置に首尾よくコミットされたものとして前記同種データセットにマーキングするステップと、
前記データ書込み操作が正常終了しなかったことを前記通知が示す場合に、前記同種データセットに対して新規のデータ書込み操作を開始するステップと
をさらに含む、請求項9に記載の方法。 - 候補ファイルの前記バッチは、複数の様々な記憶位置からのファイルを含む、請求項6に記載の方法。
- 候補ファイルの前記バッチは、複数の様々な記憶位置からのファイルを含み、前記識別するステップは、前記複数の様々な記憶位置に位置するファイルについての状態認識を保持する記憶装置マネージャによって実行される、請求項6に記載の方法。
- 前記確認するステップは、1つまたは複数の前記同種データセットおよび前記個々のデータキューが閾値サイズを超えることを確認するステップを含む、請求項6に記載の方法。
- 前記異種データは、前記複数のデータソース間の通信事象から収集される異種テレメトリデータであり、前記複数のデータソースは、異なるユーザ装置、異なるシステムまたは異なるセンサの少なくともいずれかに対応する、請求項1に記載のシステム。
- 前記異種データは、複数の通信セッションに関連して開始される通信事象の属性を記述するメタデータを含む異種テレメトリデータである、請求項1に記載のシステム。
- 前記同種データセットが永続記憶装置に書き込まれることの前記指示は、前記個々のデータキューが閾値サイズを超えていることに応答して受信される、請求項6に記載の方法。
- 前記指示されたカテゴリのデータを含む不十分な候補ファイルが識別された場合に、前記指示されたカテゴリのデータにマッチするタイムアウトしたファイルが識別されるか確認するステップをさらに含み、
タイムアウトしたファイルが前記指示されたカテゴリのデータにマッチすると識別された場合に、前記選択するステップは、タイムアウトしたファイルを選択するステップを含み、
タイムアウトしたファイルが前記指示されたカテゴリのデータにマッチしないと識別された場合に、前記選択するステップは、新しいファイルをつくるステップを含む、請求項6に記載の方法。 - 前記選択されたファイルへの前記データ書込み操作が持続している個別の時間だけ、前記ロックタイマを延長するステップをさらに含む、請求項6に記載の方法。
- 前記データ書込み操作を実行するステップは、複数の同種データセットを複数の記憶位置にある複数のファイルに書き込む複数のデータ書込み操作を同時に実行するステップを含む、請求項6に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/335,558 US20160019300A1 (en) | 2014-07-18 | 2014-07-18 | Identifying Files for Data Write Operations |
US14/335,558 | 2014-07-18 | ||
PCT/US2015/040670 WO2016011217A1 (en) | 2014-07-18 | 2015-07-16 | Identifying files for data write operations |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017520845A JP2017520845A (ja) | 2017-07-27 |
JP2017520845A5 true JP2017520845A5 (ja) | 2018-07-19 |
Family
ID=53783339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016573756A Withdrawn JP2017520845A (ja) | 2014-07-18 | 2015-07-16 | データ書込み操作用のファイルの識別 |
Country Status (11)
Country | Link |
---|---|
US (1) | US20160019300A1 (ja) |
EP (1) | EP3146423A1 (ja) |
JP (1) | JP2017520845A (ja) |
KR (1) | KR20170035985A (ja) |
CN (1) | CN106537386A (ja) |
AU (1) | AU2015289651A1 (ja) |
BR (1) | BR112017000144A2 (ja) |
CA (1) | CA2955011A1 (ja) |
MX (1) | MX2017000774A (ja) |
RU (1) | RU2017101414A (ja) |
WO (1) | WO2016011217A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10096065B2 (en) * | 2015-01-16 | 2018-10-09 | Red Hat, Inc. | Distributed transactions with extended locks |
CN108153744A (zh) * | 2016-12-02 | 2018-06-12 | 上海中兴软件有限责任公司 | 一种数据存储维护方法及装置 |
US10514721B2 (en) | 2017-05-08 | 2019-12-24 | International Business Machines Corporation | Validation of clock to provide security for time locked data |
US10528435B2 (en) | 2017-05-08 | 2020-01-07 | International Business Machines Corporation | Performance efficient time locks on data in a storage controller |
US10514859B2 (en) * | 2017-05-08 | 2019-12-24 | International Business Machines Corporation | Reduction of processing overhead for point in time copy to allow access to time locked data |
US10691514B2 (en) | 2017-05-08 | 2020-06-23 | Datapipe, Inc. | System and method for integration, testing, deployment, orchestration, and management of applications |
US10489080B2 (en) | 2017-05-08 | 2019-11-26 | International Business Machines Corporation | Point in time copy of time locked data in a storage controller |
CN111694521B (zh) * | 2020-06-17 | 2022-08-05 | 杭州海康威视系统技术有限公司 | 存储文件的方法、装置及系统 |
CN115758206B (zh) * | 2022-11-07 | 2023-05-16 | 武汉麓谷科技有限公司 | 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6148338A (en) * | 1998-04-03 | 2000-11-14 | Hewlett-Packard Company | System for logging and enabling ordered retrieval of management events |
DE69928222T2 (de) * | 1999-04-23 | 2006-05-24 | Sony Deutschland Gmbh | Verfahren und System zum Versand von Information |
US7191176B2 (en) * | 2000-07-31 | 2007-03-13 | Mccall Danny A | Reciprocal data file publishing and matching system |
US6671773B2 (en) * | 2000-12-07 | 2003-12-30 | Spinnaker Networks, Llc | Method and system for responding to file system requests |
US7054927B2 (en) * | 2001-01-29 | 2006-05-30 | Adaptec, Inc. | File system metadata describing server directory information |
US20030182420A1 (en) * | 2001-05-21 | 2003-09-25 | Kent Jones | Method, system and apparatus for monitoring and controlling internet site content access |
GB2405495B (en) * | 2003-08-18 | 2006-09-20 | Orchestria Ltd | Data storage system |
US7188127B2 (en) * | 2003-10-07 | 2007-03-06 | International Business Machines Corporation | Method, system, and program for processing a file request |
US8996486B2 (en) * | 2004-12-15 | 2015-03-31 | Applied Invention, Llc | Data store with lock-free stateless paging capability |
US8364670B2 (en) * | 2004-12-28 | 2013-01-29 | Dt Labs, Llc | System, method and apparatus for electronically searching for an item |
US8271548B2 (en) * | 2005-11-28 | 2012-09-18 | Commvault Systems, Inc. | Systems and methods for using metadata to enhance storage operations |
US9207997B2 (en) * | 2007-08-09 | 2015-12-08 | Novell, Inc. | Multithreaded lock management |
US20090043831A1 (en) * | 2007-08-11 | 2009-02-12 | Mcm Portfolio Llc | Smart Solid State Drive And Method For Handling Critical Files |
US7945587B2 (en) * | 2007-10-10 | 2011-05-17 | Microsoft Corporation | Random allocation of media storage units |
CN100578460C (zh) * | 2007-12-21 | 2010-01-06 | 深圳市同洲电子股份有限公司 | 文件读写控制装置、系统及方法 |
US8620923B1 (en) * | 2008-05-30 | 2013-12-31 | Adobe Systems Incorporated | System and method for storing meta-data indexes within a computer storage system |
US7962458B2 (en) * | 2008-06-12 | 2011-06-14 | Gravic, Inc. | Method for replicating explicit locks in a data replication engine |
US20100094822A1 (en) * | 2008-10-13 | 2010-04-15 | Rohit Dilip Kelapure | System and method for determining a file save location |
US8542691B2 (en) * | 2009-06-30 | 2013-09-24 | Oracle International Corporation | Classes of service for network on chips |
US9575985B2 (en) * | 2009-12-07 | 2017-02-21 | Novell, Inc. | Distributed lock administration |
US20130024483A1 (en) * | 2011-07-21 | 2013-01-24 | Alcatel-Lucent Canada, Inc. | Distribution of data within a database |
US9805054B2 (en) * | 2011-11-14 | 2017-10-31 | Panzura, Inc. | Managing a global namespace for a distributed filesystem |
US8543576B1 (en) * | 2012-05-23 | 2013-09-24 | Google Inc. | Classification of clustered documents based on similarity scores |
US9734237B2 (en) * | 2012-10-08 | 2017-08-15 | Bmc Software, Inc. | Progressive analysis for big data |
US20140105218A1 (en) * | 2012-10-12 | 2014-04-17 | Prashant H. Anand | Queue monitoring to filter the trend for enhanced buffer management and dynamic queue threshold in 4g ip network/equipment for better traffic performance |
US9489445B2 (en) * | 2013-03-13 | 2016-11-08 | Nice Systems Ltd. | System and method for distributed categorization |
US9336258B2 (en) * | 2013-10-25 | 2016-05-10 | International Business Machines Corporation | Reducing database locking contention using multi-version data record concurrency control |
US10264071B2 (en) * | 2014-03-31 | 2019-04-16 | Amazon Technologies, Inc. | Session management in distributed storage systems |
US9563518B2 (en) * | 2014-04-02 | 2017-02-07 | Commvault Systems, Inc. | Information management by a media agent in the absence of communications with a storage manager |
US10169367B2 (en) * | 2014-06-06 | 2019-01-01 | Panzura, Inc. | Managing opportunistic locks in a distributed file system |
US9646022B2 (en) * | 2014-06-06 | 2017-05-09 | Panzura, Inc. | Distributed change notifications for a distributed filesystem |
-
2014
- 2014-07-18 US US14/335,558 patent/US20160019300A1/en not_active Abandoned
-
2015
- 2015-07-16 MX MX2017000774A patent/MX2017000774A/es unknown
- 2015-07-16 AU AU2015289651A patent/AU2015289651A1/en not_active Abandoned
- 2015-07-16 WO PCT/US2015/040670 patent/WO2016011217A1/en active Application Filing
- 2015-07-16 RU RU2017101414A patent/RU2017101414A/ru not_active Application Discontinuation
- 2015-07-16 KR KR1020177004531A patent/KR20170035985A/ko unknown
- 2015-07-16 EP EP15745655.9A patent/EP3146423A1/en not_active Withdrawn
- 2015-07-16 CA CA2955011A patent/CA2955011A1/en not_active Abandoned
- 2015-07-16 CN CN201580039299.4A patent/CN106537386A/zh active Pending
- 2015-07-16 JP JP2016573756A patent/JP2017520845A/ja not_active Withdrawn
- 2015-07-16 BR BR112017000144A patent/BR112017000144A2/pt not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017520845A5 (ja) | ||
US9128615B2 (en) | Storage systems that create snapshot queues | |
EP3076283B1 (en) | System and method for managing content deletion | |
JP2019521574A5 (ja) | ||
JP2017538987A5 (ja) | ||
JP2018514028A5 (ja) | ||
JP2020509481A5 (ja) | ||
JP2016526225A5 (ja) | ||
US20160019119A1 (en) | Prioritizing backup of files | |
JP2014526750A5 (ja) | ||
JP2016522505A5 (ja) | ||
RU2016136341A (ru) | Система обработки информации, способ управления процессом данных, программа и носитель записи | |
US20140365429A1 (en) | Method for issuing multipart receipts in connection to extensive database operations | |
RU2017101414A (ru) | Идентификация файлов для операций записи данных | |
US9104320B2 (en) | Data integrity protection in storage volumes | |
WO2017092603A1 (zh) | 一种数据传递方法和设备 | |
RU2015139875A (ru) | Устройство обработки информации, система обработки информации и способ обработки информации | |
RU2017106051A (ru) | Устройство и программа обработки информации | |
US20150079966A1 (en) | Methods for facilitating telecommunication network administration and devices thereof | |
JP2016045839A5 (ja) | ||
US9659041B2 (en) | Model for capturing audit trail data with reduced probability of loss of critical data | |
JP2018149385A5 (ja) | ||
JP2014134860A5 (ja) | ||
US10838983B2 (en) | Method of integrating remote databases by parallel update requests over a communications network | |
WO2016091140A1 (zh) | 一种显示系统资源的方法及装置 |