EA201892256A1 - Способ и система комплексного управления большими данными - Google Patents

Способ и система комплексного управления большими данными

Info

Publication number
EA201892256A1
EA201892256A1 EA201892256A EA201892256A EA201892256A1 EA 201892256 A1 EA201892256 A1 EA 201892256A1 EA 201892256 A EA201892256 A EA 201892256A EA 201892256 A EA201892256 A EA 201892256A EA 201892256 A1 EA201892256 A1 EA 201892256A1
Authority
EA
Eurasian Patent Office
Prior art keywords
data
subsystem
processing
archiving
xstream
Prior art date
Application number
EA201892256A
Other languages
English (en)
Other versions
EA036384B1 (ru
Inventor
Виталий Алексеевич ШАРАНУЦА
Алексей Александрович БУЛАВИН
Original Assignee
Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) filed Critical Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк)
Publication of EA201892256A1 publication Critical patent/EA201892256A1/ru
Publication of EA036384B1 publication Critical patent/EA036384B1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Заявленное изобретение относится к управлению большими объемами данных, в частности к системе и способу для их обработки и унифицированного хранения. Достигаемый технический результат совпадает с решаемой технической проблемой и заключается в повышении эффективности хранения больших объемов данных за счет применения распределенной архитектуры хранения с обеспечением обработки входных данных с целью их унификации. Заявленное изобретение осуществляется с помощью системы комплексного управления большими данными (Big Data), содержащей подсистему транспортировки и проверки входных данных (далее - TFS), подсистему загрузки внешних данных (далее - xStream), функционирующую на основании стандарта описания данных, в которой TFS осуществляет прием, проверку и передачу в xStream данных, поступающих от источников данных, причем TFS принимает данные в архивированном виде и осуществляет передачу данных по транспортному протоколу; xStream содержит подсистему загрузки файлов, подсистему обработки и архивирования данных, подсистему доступа к данным (далее - hCatalog), модуль управления загрузкой данных и модуль управления доступом, причем в xStream подсистема загрузки файлов осуществляет опрос TFS для передачи данных, поступивших от источников, в подсистему обработки и архивирования данных, причем источники данных предварительно регистрируются в подсистеме загрузки данных; подсистема загрузки данных выполняет первичное копирование файлов, поступающих от TFS, в подсистему обработки и архивирования; подсистема обработки и архивирования содержит области хранения данных, которые осуществляют структурированное хранение первичных данных, промежуточных данных и публикуемых данных; в область хранения первичных данных передаются файлы из подсистемы загрузки данных, которые соответствуют установленным параметрам архивирования и хранятся в первоначально заархивированном виде; подсистема обработки и архивирования выполнена с возможностью передачи в область промежуточных данных разархивированных первичных данных, преобразованных в формат parquet для дальнейших преобразований; в область публикуемых данных передаются подготовленные, преобразованные, унифицированные данные, приведенные к стандарту xStream, и из унифицированных данных области публикуемых данных формируется структурированный каталог для доступа к упомянутым данным посредством hCatalog.
EA201892256A 2018-10-26 2018-11-02 Способ и система комплексного управления большими данными EA036384B1 (ru)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018137863A RU2690777C1 (ru) 2018-10-26 2018-10-26 Способ и система комплексного управления большими данными

Publications (2)

Publication Number Publication Date
EA201892256A1 true EA201892256A1 (ru) 2020-05-29
EA036384B1 EA036384B1 (ru) 2020-11-03

Family

ID=67037918

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201892256A EA036384B1 (ru) 2018-10-26 2018-11-02 Способ и система комплексного управления большими данными

Country Status (3)

Country Link
EA (1) EA036384B1 (ru)
RU (1) RU2690777C1 (ru)
WO (1) WO2020085938A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008421B1 (en) 2023-03-07 2024-06-11 Ricoh Company, Ltd. Print data conversion mechanism

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7007034B1 (en) * 2000-01-21 2006-02-28 International Business Machines Corporation File structure for storing content objects in a data repository
US8930496B2 (en) * 2005-12-19 2015-01-06 Commvault Systems, Inc. Systems and methods of unified reconstruction in storage systems
CN101589379A (zh) * 2006-11-06 2009-11-25 戴尔营销美国公司 用于管理跨越多个环境的数据的系统和方法
US7693877B1 (en) * 2007-03-23 2010-04-06 Network Appliance, Inc. Automated information lifecycle management system for network data storage
US8285681B2 (en) * 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
RU141446U1 (ru) * 2013-08-22 2014-06-10 Санкт-Петербург, от имени которго выступает Комитет по информации и связи Информационно-поисковое устройство представления данных об объектах
US10108687B2 (en) * 2015-01-21 2018-10-23 Commvault Systems, Inc. Database protection using block-level mapping

Also Published As

Publication number Publication date
WO2020085938A1 (ru) 2020-04-30
RU2690777C1 (ru) 2019-06-05
EA036384B1 (ru) 2020-11-03

Similar Documents

Publication Publication Date Title
US11010103B2 (en) Distributed batch processing of non-uniform data objects
EP4318410A3 (en) Distributed application architectures using blockchain and distributed file systems
US9354822B2 (en) Programmable data read management system and method for operating the same in a solid state drive
US8522233B2 (en) Firmware updating system, firmware delivering server, firmware embedded device, and program
US20150261797A1 (en) System and method for management of garbage collection operation in a solid state drive
US20150261456A1 (en) Configurable read-modify-write engine and method for operating the same in a solid state drive
US9703821B2 (en) Database auditing for bulk operations
US8972354B1 (en) Systems and methods for preserving individual backed-up files in accordance with legal-hold policies
US10169345B2 (en) Moving data from linear tape file system storage to cloud storage
US20240036773A1 (en) Sub-cluster recovery using a partition group index
KR102248386B1 (ko) 데이터베이스 데이터 수정 요청 처리 방법 및 장치
WO2018214905A1 (zh) 一种数据存储的方法、装置、介质及设备
US20200042313A1 (en) Methods and systems for remote software update
EA201892256A1 (ru) Способ и система комплексного управления большими данными
CN116204575A (zh) 将数据导入数据库的方法、装置、设备及计算机存储介质
CN102281312A (zh) 一种数据加载方法、系统和数据处理方法、系统
JP2016066285A (ja) 記憶システム、記憶システム制御方法及び仮想テープ装置制御プログラム
US9501485B2 (en) Methods for facilitating batch analytics on archived data and devices thereof
US11132141B2 (en) System and method for synchronization of data containers
EP2669806B1 (en) Storage system
RU2010125680A (ru) Системы и способы для передачи файлов данных, независимо от платформы
US8612702B1 (en) Systems and methods for performing optimized backups of multiple volumes
US20140281125A1 (en) Systems and methods for in-place reorganization of device storage
US9921918B1 (en) Cloud-based data backup and management
US20160124677A1 (en) Optical cold storage