RU2751798C9 - Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц - Google Patents

Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц Download PDF

Info

Publication number
RU2751798C9
RU2751798C9 RU2020100202A RU2020100202A RU2751798C9 RU 2751798 C9 RU2751798 C9 RU 2751798C9 RU 2020100202 A RU2020100202 A RU 2020100202A RU 2020100202 A RU2020100202 A RU 2020100202A RU 2751798 C9 RU2751798 C9 RU 2751798C9
Authority
RU
Russia
Prior art keywords
data
client data
migration
module
client
Prior art date
Application number
RU2020100202A
Other languages
English (en)
Other versions
RU2751798C2 (ru
RU2020100202A (ru
RU2020100202A3 (ru
Inventor
Александр Андреевич Чижиков
Александр Геннадьевич Поддубнов
Original Assignee
Банк ВТБ (публичное акционерное общество)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Банк ВТБ (публичное акционерное общество) filed Critical Банк ВТБ (публичное акционерное общество)
Priority to RU2020100202A priority Critical patent/RU2751798C9/ru
Publication of RU2020100202A publication Critical patent/RU2020100202A/ru
Publication of RU2020100202A3 publication Critical patent/RU2020100202A3/ru
Publication of RU2751798C2 publication Critical patent/RU2751798C2/ru
Application granted granted Critical
Publication of RU2751798C9 publication Critical patent/RU2751798C9/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • G06F3/0641De-duplication techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms

Abstract

Изобретение относится к области вычислительной техники. Техническим результатом является обеспечение миграции клиентских данных. Раскрыта система для обеспечения распределенной миграции клиентских данных, содержащая: по меньшей мере один модуль подготовки клиентских данных для миграции клиентских данных из по меньшей мере одной системы-источника в целевую систему, связанный с по меньшей мере одной системой-источником, выполненный с возможностью выборки клиентских данных, нормализации клиентских данных и преобразования клиентских данных в заданный формат, а также связанный с модулем миграции данных; модуль дедупликации клиентских данных, связанный с по меньшей мере одной системой-источником и модулем миграции данных, выполненный с возможностью автоматической проверки переданных клиентских данных из по меньшей мере одной системы-источника на наличие дубликатов в целевой системе путем сравнения клиентских данных, полученных из по меньшей мере одной системы-источника, с эталонными клиентскими данными в базе данных клиентов; по меньшей мере одну базу данных клиентов, связанную с модулем миграции данных, содержащую эталонные клиентские данные; модуль миграции данных, выполненный с возможностью осуществления предварительной миграции, основной миграции и постмиграции клиентских данных и связанный с по меньшей мере одним модулем подготовки клиентских данных, базой данных клиентов, модулем дедупликации данных и системой-приемником. 2 н. и 2 з.п. ф-лы, 2 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области информационных технологий, в частности, к распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц.
УРОВЕНЬ ТЕХНИКИ
Из патента US8799235B2 (МПК G06F17/30, опубл. 2014-08-05) известно решение, описывающее управление дублирующимися данными, исходящими из множества источников данных, причем управление дублирующимися данными включает: генерирование по меньшей мере одной инструкции дедупликации для хранилища данных, причем по меньшей мере одна инструкция дедупликации идентифицирует записи измеренных данных, которые считаются дублирующими записями измеренных данных, и идентифицирует одну запись измеренных данных, которая представляет дублированные записи измеренных данных; принимают измеренные данные измерений из множества источников данных, причем данные измерений содержат одну или несколько записей данных измерений; идентифицируют, по меньшей мере, две дублированные записи данных измерений, применяя одну или несколько инструкций дедупликации к полученным данным измерений; меняют по меньшей мере две дублированные записи данных измерений на одну запись данных измерений в хранилище данных; корректируют один или несколько внешних ключей по меньшей мере одной записи данных в хранилище данных для ссылки на запись данных одного измерения; принимают одну или несколько дополнительных инструкций дедупликации, причем одна или несколько дополнительных инструкций дедупликации идентифицируют записи данных измерений, которые больше не считаются дублирующими записями данных измерений; меняют записи данных одного измерения, по меньшей мере, двумя повторяющимися записями данных измерения в хранилище данных; и регулируют один или несколько внешних ключей, по меньшей мере, одной записи данных в хранилище данных для ссылки по меньшей мере на две повторяющиеся записи данных измерения.
Недостатком данного технического решения является то, что оно описывает дедупликацию данных на уровне их хранения, то есть на уровне базы данных.
Из уровня техники известно решение, описывающее способ определения значения, представляющего разницу между первой записью, содержащей первое множество полей данных, и второй записью, содержащей второе множество полей данных, причем каждое из первого множества полей данных соответствует соответствующему одному из второго множества поля данных (US7092956B2, МПК G06F17/00, опубл. 2006-08-15). При этом способ содержит: для каждого из первого множества полей данных определение первого значения, представляющего разницу между данными, указанными в поле данных, и данными, указанными в соответствующем одном из второго множества полей данных; для каждого из второго множества полей данных определение второго значения, представляющего разницу между данными, указанными в поле данных, и данными, указанными в соответствующем одном из первого множества полей данных; определение третьего значения, представляющего разницу между первой записью и второй записью, на основании определенных первого и второго значений; и идентификацию, являются ли первая и вторая записи дубликатами, на основании определенного третьего значения, при этом определение и идентификация предоставляются процессором; причем определение третьего значения содержит: определение суммы определенных первых значений и определенных вторых значений; и разделение сумму на два.
Недостатком данного решения является, что оно описывает дедупликацию данных на уровне их хранения (на уровне базы данных), при поступлении этих данных в хранилище.
Из уровня техники известно решение US2012150826A1 (МПК G06F17/30, опубл. 2012-06-14), раскрывающее способ выполнения операции хранения в распределенной дедуплицированной системе хранения, содержащий: прием запроса от клиентского вычислительного устройства для восстановления файла, содержащего множество блоков данных, при этом запрос принят в первом узле дедупликации множества узлов дедупликации, связанных друг с другом через сеть, где запрашиваемый файл является одним из множество дедуплицированных файлов, которые распределены по узлам дедупликации; в ответ на запрос и с использованием одного или нескольких процессоров определяют, существует ли уже копия первого конкретного блока данных из множества блоков данных в запрошенном файле на первом узле дедупликации; если копия конкретного блока данных из множества блоков данных уже существует в первом узле дедупликации, доступ к конкретному блоку данных из первого узла дедупликации; и если копия конкретного блока данных еще не существует в первом узле дедупликации, запрашивают конкретный блок данных из другого узла дедупликации из множества узлов дедупликации, где копия конкретного блока данных существует.
Недостатком данного решения является, что его основная цель - именно дедупликация данных и отсутствует процесс миграции данных.
Общим недостатком в известном уровне техники заявитель признает отсутствие системы миграции клиентских данных, использование которой позволило бы переносить большие объемы данных с исключением дубликатов данных без необходимости временного приостановления работоспособности систем-источников данных.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное техническое решение, является создание системы и способа распределенной миграции клиентских данных.
Техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является обеспечение миграции клиентских данных.
При этом применение заявленного способа миграции данных заключается в оптимизации процесса передачи данных, а именно:
1. Перенос архивных данных производится до перевода клиентских данных в целевую систему и не нарушает текущие бизнес-процессы клиента;
2. Перевод клиентских данных в целевую систему происходит значительно быстрее, т.к. его архивные данные уже мигрированы;
3. Осуществляется возможность параллельной миграции архивных клиентских данных одной группы и перевода в целевую систему клиентских данных другой группы (параллельная миграция).
Дополнительным результатом является возможность до перевода в целевую систему клиентских данных, осуществить переход на целевые средства криптографической защиты информации без прерывания текущего бизнес-процесса клиента, благодаря тому, что система снабжена модулем электронной подписи, необходимым для перехода на целевые средства криптографической защиты информации. Данный модуль снабжен инструкциями по переходу.
Дополнительным техническим результатом является создание единого рабочего места клиента системы, включающего в себя данные из нескольких информационных систем и повышение полноты данных, благодаря цикличной (периодически повторяющейся) постмиграции данных.
Заявленные результаты достигаются за счет осуществления способа распределенной миграции клиентских данных, содержащего этапы, на которых:
осуществляют предварительную миграцию клиентских данных, при этом предварительная миграция включает следующие этапы:
- загружают список клиентских данных в модуль миграции данных из базы данных клиентов;
- посредством модуля миграции данных направляют запрос на выборку клиентских данных из по меньшей мере одной системы-источника в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных осуществляют выборку клиентских данных из по меньшей мере одной системы-источника, нормализацию клиентских данных и преобразование клиентских данных в заданный формат и направляют полученную выборку клиентских данных в модуль миграции данных;
- посредством модуля миграции данных осуществляют автоматическую проверку на установление существующих дубликатов клиентских данных в модуле дедупликации клиентских данных;
- посредством модуля миграции данных сохраняют в системе-приемнике информацию по клиентским данным, по которым успешно прошла проверка на наличие дубликатов;
- посредством модуля миграции данных направляют запрос на выборку архивных клиентских данных в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных подготавливают и возвращают в модуль миграции выборку архивных клиентских данных;
- посредством модуля миграции данных сохраняют полученную выборку архивных клиентских данных в систему-приемник и формируют отчет об успешно мигрированных клиентских данных;
осуществляют основную миграцию клиентских данных на основе отчета успешно мигрированных клиентских данных, при этом основная миграция включает следующие этапы:
- посредством модуля миграции данных направляют в по меньшей мере один модуль подготовки клиентских данных запрос на блокировку клиентских данных в системе-источнике и запрос на выборку оставшихся клиентских данных в каждом модуле подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных возвращают запрошенные клиентские данные в модуль миграции данных;
- посредством модуля миграции данных осуществляют проверку клиентских данных в базе данных клиентов;
- посредством модуля миграции данных сохраняют полученную информацию по пользователям в системе-приемнике;
- посредством модуля миграции направляют запрос на выборку оперативных клиентских данных в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных подготавливают и возвращают в модуль миграции данных выборку оперативных клиентских данных;
- посредством модуля миграции данных сохраняют полученные клиентские данные в систему-приемник и формируют отчет об успешно мигрированных клиентских данных;
завершают процесс миграции клиентских данных, если отсутствуют документы клиентских данных, не завершившие жизненный цикл, в ином случае осуществляют постмиграцию клиентских данных, при этом постмиграция включает следующие этапы:
- в заранее заданный промежуток времени посредством модуля миграции данных направляют в по меньшей мере один модуль подготовки клиентских данных запрос по клиентским данным, документы которых не завершили жизненный цикл;
- посредством по меньшей мере одного модуля подготовки клиентских данных возвращают в модуль миграции данных информацию по клиентским данным готовым к миграции или информацию по клиентским данным не готовым к миграции;
- посредством модуля миграции данных сохраняют полученные клиентские данные в систему-приемник;
повторяют процесс миграции клиентских данных до тех пор, пока все клиентские данные не будут переведены в целевую систему.
В частном варианте реализации предлагаемого решения, после осуществления предварительной миграции клиентских данных отчет успешно мигрированных клиентских данных направляют в модуль электронной подписи, посредством которого направляют уведомление о предстоящем переводе в целевую систему клиенту с инструкциями для формирования ключей электронной подписи.
Заявленные результаты достигаются также за счет работы системы распределенной миграции клиентских данных, для выполнения способа распределенной миграции, которая содержит:
по меньшей мере один модуль подготовки клиентских данных для миграции клиентских данных из по меньшей мере одной системы-источника в целевую систему, связанный с по меньшей мере одной системой-источником, выполненный с возможностью выборки клиентских данных, нормализации клиентских данных и преобразования клиентских данных в заданный формат, а также связанный с модулем миграции данных;
модуль дедупликации клиентских данных, связанный с по меньшей мере одной системой-источником и модулем миграции данных, выполненный с возможностью автоматической проверки переданных клиентских данных из по меньшей мере одной системы-источника на наличие дубликатов в целевой системе, путем сравнения клиентских данных, полученных из по меньшей мере одной системы - источника, с эталонными клиентскими данными в базе данных клиентов;
по меньшей мере одну базу данных клиентов, связанную с модулем миграции данных, содержащую эталонные клиентские данные;
модуль миграции данных, выполненный с возможностью осуществления предварительной миграции, основной миграции и постмиграции клиентских данных и связанный с по меньшей мере одним модулем подготовки клиентских данных, базой данных клиентов, модулем дедупликации данных и системой-приемником.
В частном варианте реализации предлагаемого решения, система дополнительно содержит модуль электронной подписи, связанный с по меньшей мере одной системой-источником и по меньшей мере одним модулем подготовки клиентских данных.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует компоненты системы миграции клиентских данных.
Фиг.2 иллюстрирует вариант системы миграции клиентских данных.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Заявленное решение распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц представляет из себя систему, позволяющую обеспечить бесшовный переход клиента Банка на обслуживание в новую систему дистанционного банковского обслуживания из нескольких информационных систем (систем-источников), при этом для каждой информационной системы, откуда мигрируют данные, реализуется отдельный модуль подготовки клиентских данных для миграции, а также способ, выраженный в совокупности действий, благодаря реализации которого достигается заявленный технический результат.
Отличительной технической способностью распределенной миграции клиентских данных является проведение дедупликации клиентских данных и пользователей системы (клиентов) при миграции.
Также в качестве отличия заявляемого решения от известных из уровня техники решений можно выделить возможность единовременного переноса данных из нескольких систем дистанционного банковского обслуживания с потенциально легкой разработкой модулей для подключения новых систем при необходимости.
Облегченность разработки новых модулей появляется за счет отсутствия необходимости реализации механизмов сохранения клиентских данных в целевой системе, а также механизмов управления процессами миграции.
Заявленная система миграции клиентских данных, как проиллюстрировано на фиг.1, фиг.2 и состоит из следующих компонентов:
1. Модуль дедупликации клиентских данных 101 - компонент, отвечающий за процесс дедупликации клиентских данных;
2. Модуль миграции данных (Ядро миграции) 102 - компонент, отвечающий за управление процессом миграции клиентских данных. Ядро миграции управляет задачами миграции и направляет в Модуль подготовки клиентских данных команды на подготовку данных;
3. Модуль подготовки клиентских данных (далее - «МПД») 103 - компонент, отвечающий за выборку клиентских данных из системы-источника, их нормализацию и приведение к формату Системы-приемника, для которой разработана система миграции.
В варианте реализации системы, как показано на фиг.2 в системе миграции реализован компонент «Модуль электронной подписи» 107 (модуль, реализующий логику инструмента Визард (с англ. - «Wizard») подготовки к миграции) - компонент, который, при необходимости, реализован в варианте системы для дополнения данных системы-источника. В частности, модуль позволяет клиенту банка получить сертификат электронной подписи, который он будет использовать в системе-приемнике после процесса миграции.
Остальные компоненты представляют собой части внешней системы, в контуре которой необходимо осуществить миграцию данных. Это такие компоненты как:
- Система - источник 104 (фиг.1 и фиг.2) - компонент, который может быть в множестве, и из которого(ых) требуется осуществить миграцию клиентских данных;
- Система - приемник 105 (фиг.1 и фиг.2) - компонент, в память которого необходимо осуществить перенос клиентских данных;
- База клиентов 106 (фиг.1 и фиг.2) - база данных, в которой содержатся эталонные сведения о клиентах и их перечень.
Под нормализацией клиентских данных подразумевается приведение этих данных к составу и формату, принятому в системе, в которую происходит миграция, например:
В системе-источнике:
Наименование = «ИП Иванов Иван Иванович»;
Полное наименование = «Индивидуальный Предприниматель Иванов Иван
Иванович»;
Тип клиента = «ИП».
В системе-приемнике:
Краткое наименование = «Иванов Иван Иванович (ИП)»;
Полное наименование = «Индивидуальный Предприниматель Иванов Иван Иванович»;
Тип клиента = «ИП».
Дополнительно, система миграции использует существующую базу данных клиентов Банка для целей проведения дедупликации клиентских данных.
Дедупликация клиентских данных, как подготовительная часть способа распределения миграции, происходит путем сравнения клиентских данных, полученных из Системы-источника, с эталонными записями в общей Базе клиентов банка.
Для реализации способа миграции необходимо предварительно наполнить память Модуля дедупликации клиентских данных 101 сведениями о клиентских данных из всех Систем-источников 104- 1-N.
Дедупликация клиентских данных реализуется следующим образом:
По всем клиентским данным запускается автоматическая проверка, направленная на установление существующих в подсистеме дубликатов клиентских данных. Проверка проводится по, как минимум, таким параметрам, как: ФИО пользователя (клиента); вид, серия и номер документа, удостоверяющего личность (далее - «ДУЛ»), а также дате рождения. При этом, по результатам проверки к полученным данным применяются следующие правила (для переноса клиентских данных клиентов - физических лиц):
1. Если ФИО и данные ДУЛ совпали, клиентские данные объединяются.
2. Если данные ДУЛ совпали, но ФИО разные, клиентские данные отправляются на ручной разбор для корректировки данных, после чего проводится повторная проверка.
3. Если ФИО совпадают, но не совпадают данные ДУЛ, дополнительно проверяется Дата рождения, при этом:
- при совпадении даты рождения клиентские данные отправляются на ручной разбор;
- если даты рождения разные - клиентские данные не объединяются.
Для переноса клиентских данных юридических лиц используется внешняя база клиентов Банка, в которой уже проведена дедупликация юридических лиц. При переносе клиентских данных юридических лиц модуль миграции данных обращается во внешнюю базу клиентов Банка для получения информации о том, какие клиентские данные должны быть объединены.
Далее, для проведения способа миграции, необходимо осуществить следующую последовательность действий с помощью системы миграции клиентских данных:
1. Предварительная миграция клиентских данных.
Процесс предварительной миграции клиентских данных необходим для оптимизации переноса большого объема данных из информационных систем (систем-источников) в целевую систему обслуживания клиентов Банка (систему-приемник) и сокращения времени перевода клиентских данных между системами. Предварительная миграция клиентских данных обеспечивает перенос основной массы архивных данных, а именно документов, которые клиент отправлял в Банк, либо получал от него, что позволяет за короткий срок обеспечить техническое переключение клиентских данных на обслуживание в целевую систему в процессе основной миграции, так как объем данных, переносимых в процессе основной миграции, существенно ниже.
Дополнительно, в данном процессе применяется дедупликация клиентских данных, как было описано выше.
Основные этапы предварительной миграции клиентских данных следующие:
a. Загружают список клиентских данных в Модуль миграции данных 102 из Базы клиентов 106 и запускают задачу предварительной миграции;
В качестве Базы данных клиентов 106 может выступать база пользователей систем дистанционного банковского обслуживания.
b. Модуль миграции данных 102 направляет запрос на выборку клиентских данных в МПД 103. Если же, МПД несколько, как продемонстрированно на фиг.1, вследствие наличия нескольких Систем- источников 104, то Модуль миграции данных 102 направляет запрос на выборку клиентских данных в каждый МПД 103, МПД 103-2, МПД 103-3, МПД 103-4, МПД 103-N;
c. МПД 103 возвращает клиентские данные в Модуль миграции данных 102, соответственно, если МПД 103 было несколько, то данные в Модуль миграции данных 102 возвращаются с каждого МПД 103;
d. Модуль миграции данных 102 выполняет автоматическую проверку, направленную на установление существующих в Модуле дедупликации клиентских данных 101 дубликатов клиентских данных. Если по результату проведения дедупликации клиентских данных на этапе автоматической проверки не удалось объединить клиентские данные по причине невыполнения условий из инструкций Модуля дедупликации клиентских данных 101, то Модуль миграции данных 102 формирует перечень клиентских данных для ручной проверки;
e. Модуль миграции данных 102 сохраняет в Системе-приемнике 105 информацию по клиентам, по которым успешно прошла проверка на наличие дубликатов клиентских данных (для клиентов - юридических лиц и физических лиц) по как минимум по таким параметрам (для клиентов-физических лиц), как: ФИО пользователя; вид, серия и номер ДУЛ, а также дате рождения;
f. Модуль миграции 102 направляет запрос на выборку архивных клиентских данных в каждый имеющийся МПД 103 по клиентам, клиентские данные о которых успешно перенесены в Систему-приемник 105;
g. Каждый МПД 103, МПД 103-2, МПД 103-3, МПД 103-4…МПД 103-N подготавливает и возвращает в Модуль миграции данных 102 клиентские данные;
h. Модуль миграции данных 102 сохраняет клиентские данные в Систему-приемник 105;
i. Модуль миграции данных 102 формирует отчет об успешно мигрированных клиентских данных.
2. Подготовка клиентских данных к переводу в целевую систему (вариант реализации).
Процесс подготовки клиентских данных необходим для тех систем-источников, в которых используются решения, не позволяющие продолжить обслуживание клиента без его дополнительных действий. Данный этап описан как вариант системы и, соответственно, способа миграции клиентских данных. Проиллюстрирована интеграция дополнительного компонента 107 на фиг.2.
В частности, реализован функционал, позволяющий пользователям системы выпустить новые криптографические ключи и получить сертификаты проверки подписи, подходящие для работы в Системе-приемнике 105 (целевой системе).
Дополнительно, в данном процессе применяется дедупликация клиентских данных, которая описана выше.
Основные этапы подготовки клиентских данных к переводу в Систему-приемник 105 следующие:
a. Отчет по итогу предварительной миграции загружается в Модуль электронной подписи 107, специально реализованный для целей миграции для каждой Системы -источника 104 для установления перечней успешно мигрированных клиентских данных.
b. Затем Модуль электронной подписи 107 направляет уведомления о предстоящем переводе в новую систему клиентам, информация по которым успешно сохранена в системе-приемнике. Также клиентам могут быть направлены инструкции, которые требуют выполнения условий.
c. Клиенту или пользователям клиента (если клиент, например, юридическое лицо) необходимо пройти по шагам инструкций Модуля электронной подписи 107 и выполнить процесс генерации криптографических ключей.
d. После успешной генерации криптографических ключей клиенту присваивается отметка о готовности к миграции.
3. Основная миграция (перевод клиентских данных в целевую систему).
Далее описан процесс основной миграции, включающей в себя фактический перевод клиентских данных на обслуживание в Систему-приемник 105 (целевую систему).
a. Сотрудник банка запускает задачу основной миграции по списку успешно мигрированных клиентских данных.
b. Модуль миграции данных 102 направляет в каждый МПД 103 запрос на блокировку клиентских данных в системе-источнике.
c. Модуль миграции данных 102 направляет запрос на выборку оставшихся клиентских данных в каждом МПД 103.
d. МПД 103 возвращают клиентские данные (например, информацию по счетам клиента, пользователям, их правам подписи и полномочиям, правилам подписания, установленным в организации и прочую информацию, касающуюся обслуживания клиента в системе дистанционного банковского обслуживания (ДБО)).
e. Модуль миграции данных 102 выполняет проверки пользователей в Базе клиентов 106.
f. Модуль миграции данных 102 сохраняет в Системе-приемнике 105 информацию по пользователям.
g. Модуль миграции данных 102 направляет запрос в каждый МПД 103 на выборку оперативных клиентских данных, за исключением еще не проведенных документов.
h. МПД 103 подготавливают и возвращают в Модуль миграции данных 102 клиентские данные.
i. Модуль миграции данных 102 сохраняет клиентские данные в Системе-приемнике 105.
j. Модуль миграции данных 102 формирует отчет об успешно мигрированных клиентских данных.
k. В случае, если на момент запуска процесса основной миграции у мигрируемых клиентских данных есть документы, не завершившие свой жизненный цикл, запускается процесс постмиграции. Иначе, процесс миграции завершается.
4. Постмиграция клиентских данных.
Процесс постмиграции клиентских данных позволяет после перевода клиента на обслуживание в Систему-приемник перенести также те документы, которые на этапе основной миграции не были мигрированы. Для этого:
a. На периодической основе (в заранее заданный промежуток времени) Модуль миграции данных 102 направляет в каждый МПД 103 запросы по клиентским данным, которые на этапе основной миграции не завершили свой жизненный цикл.
b. МПД 103 возвращают в Модуль миграции данных 102 следующее:
I. В случае, если клиентские данные завершили жизненный цикл - информацию по клиентским данным для миграции;
II. Если нет - информацию о том, что клиентские данные к миграции не готовы.
c. Модуль миграции данных 102 сохраняет переданные ему от каждого МПД 103 клиентские данные в Системе-приемнике 105.
d. В случае если клиентские данные не передаются, в Модуль миграции данных 102 настраиваемый промежуток времени, то клиентские данные исключаются из задачи постмиграции.
5. Повторение процесса.
Полный процесс миграции клиентских данных (пункты Способа с 1 по 4) повторяется до тех пор, пока все клиентские данные из систем-источников (информационных систем) не будут переведены на обслуживание в целевую систему. В результате применения алгоритмов дедупликации, пользователи клиента получают в целевой системе единое рабочее место, обеспечивающее доступ ко всем продуктам и услугам, которыми клиент пользовался ранее в разных системах.
Данное решение может быть реализовано в полной мере или частично в системах, прямо не относящихся к банковскому дистанционному обслуживанию клиентов. Кроме этого, могут быть настроено сколько угодно условий проведения процесса дедупликации клиентских данных под разные потребности переноса данных.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Claims (30)

1. Способ распределенной миграции клиентских данных, содержащий этапы, на которых:
осуществляют предварительную миграцию клиентских данных, при этом предварительная миграция включает следующие этапы:
- загружают список клиентских данных в модуль миграции данных из базы данных клиентов;
- посредством модуля миграции данных направляют запрос на выборку клиентских данных из по меньшей мере одной системы-источника в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных осуществляют выборку клиентских данных из по меньшей мере одной системы-источника, нормализацию клиентских данных и преобразование клиентских данных в заданный формат и направляют полученную выборку клиентских данных в модуль миграции данных;
- посредством модуля миграции данных осуществляют автоматическую проверку на установление существующих дубликатов клиентских данных в модуле дедупликации клиентских данных;
- посредством модуля миграции данных сохраняют в системе-приемнике информацию по клиентским данным, по которым успешно прошла проверка на наличие дубликатов;
- посредством модуля миграции данных направляют запрос на выборку архивных клиентских данных в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных подготавливают и возвращают в модуль миграции выборку архивных клиентских данных;
- посредством модуля миграции данных сохраняют полученную выборку архивных клиентских данных в систему-приемник и формируют отчет об успешно мигрированных клиентских данных;
осуществляют основную миграцию клиентских данных на основе отчета успешно мигрированных клиентских данных, при этом основная миграция включает следующие этапы:
- посредством модуля миграции данных направляют в по меньшей мере один модуль подготовки клиентских данных запрос на блокировку клиентских данных в системе-источнике и запрос на выборку оставшихся клиентских данных в каждом модуле подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных возвращают запрошенные клиентские данные в модуль миграции данных;
- посредством модуля миграции данных осуществляют проверку клиентских данных в базе данных клиентов;
- посредством модуля миграции данных сохраняют полученную информацию по пользователям в системе-приемнике;
- посредством модуля миграции направляют запрос на выборку оперативных клиентских данных в по меньшей мере один модуль подготовки клиентских данных;
- посредством по меньшей мере одного модуля подготовки клиентских данных подготавливают и возвращают в модуль миграции данных выборку оперативных клиентских данных;
- посредством модуля миграции данных сохраняют полученные клиентские данные в систему-приемник и формируют отчет об успешно мигрированных клиентских данных;
завершают процесс миграции клиентских данных, если отсутствуют документы клиентских данных, не завершившие жизненный цикл, в ином случае осуществляют постмиграцию клиентских данных, при этом постмиграция включает следующие этапы:
- в заранее заданный промежуток времени посредством модуля миграции данных направляют в по меньшей мере один модуль подготовки клиентских данных запрос по клиентским данным, документы которых не завершили жизненный цикл;
- посредством по меньшей мере одного модуля подготовки клиентских данных возвращают в модуль миграции данных информацию по клиентским данным, готовым к миграции, или информацию по клиентским данным, не готовым к миграции;
- посредством модуля миграции данных сохраняют полученные клиентские данные в систему-приемник;
повторяют процесс миграции клиентских данных до тех пор, пока все клиентские данные не будут переведены в целевую систему.
2. Способ по п. 1, характеризующийся тем, что после осуществления предварительной миграции клиентских данных отчет успешно мигрированных клиентских данных направляют в модуль электронной подписи, посредством которого направляют уведомление о предстоящем переводе в целевую систему клиенту с инструкциями для формирования ключей электронной подписи.
3. Система распределенной миграции клиентских данных для выполнения способа распределенной миграции по п. 1, содержащая:
по меньшей мере один модуль подготовки клиентских данных для миграции клиентских данных из по меньшей мере одной системы-источника в целевую систему, связанный с по меньшей мере одной системой-источником, выполненный с возможностью выборки клиентских данных, нормализации клиентских данных и преобразования клиентских данных в заданный формат, а также связанный с модулем миграции данных;
модуль дедупликации клиентских данных, связанный с по меньшей мере одной системой-источником и модулем миграции данных, выполненный с возможностью автоматической проверки переданных клиентских данных из по меньшей мере одной системы-источника на наличие дубликатов в целевой системе путем сравнения клиентских данных, полученных из по меньшей мере одной системы-источника, с эталонными клиентскими данными в базе данных клиентов;
по меньшей мере одну базу данных клиентов, связанную с модулем миграции данных, содержащую эталонные клиентские данные;
модуль миграции данных, выполненный с возможностью осуществления предварительной миграции, основной миграции и постмиграции клиентских данных и связанный с по меньшей мере одним модулем подготовки клиентских данных, базой данных клиентов, модулем дедупликации данных и системой-приемником.
4. Система по п. 3, характеризующаяся тем, что дополнительно содержит модуль электронной подписи, связанный с по меньшей мере одной системой-источником и по меньшей мере одним модулем подготовки клиентских данных.
RU2020100202A 2019-12-31 2019-12-31 Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц RU2751798C9 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020100202A RU2751798C9 (ru) 2019-12-31 2019-12-31 Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020100202A RU2751798C9 (ru) 2019-12-31 2019-12-31 Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц

Publications (4)

Publication Number Publication Date
RU2020100202A RU2020100202A (ru) 2021-06-30
RU2020100202A3 RU2020100202A3 (ru) 2021-06-30
RU2751798C2 RU2751798C2 (ru) 2021-07-19
RU2751798C9 true RU2751798C9 (ru) 2021-11-16

Family

ID=76742561

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020100202A RU2751798C9 (ru) 2019-12-31 2019-12-31 Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц

Country Status (1)

Country Link
RU (1) RU2751798C9 (ru)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2190248C2 (ru) * 1995-03-29 2002-09-27 Чейенн Софтвэа Интернешнл Сэйлс Корп. Система перемещения данных в реальном времени и способ применения разреженных файлов
US7092956B2 (en) * 2001-11-02 2006-08-15 General Electric Capital Corporation Deduplication system
US8799235B2 (en) * 2012-09-07 2014-08-05 Oracle International Corporation Data de-duplication system
US20170039218A1 (en) * 2009-06-30 2017-02-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2190248C2 (ru) * 1995-03-29 2002-09-27 Чейенн Софтвэа Интернешнл Сэйлс Корп. Система перемещения данных в реальном времени и способ применения разреженных файлов
US7092956B2 (en) * 2001-11-02 2006-08-15 General Electric Capital Corporation Deduplication system
US20170039218A1 (en) * 2009-06-30 2017-02-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US8799235B2 (en) * 2012-09-07 2014-08-05 Oracle International Corporation Data de-duplication system

Also Published As

Publication number Publication date
RU2751798C2 (ru) 2021-07-19
RU2020100202A (ru) 2021-06-30
RU2020100202A3 (ru) 2021-06-30

Similar Documents

Publication Publication Date Title
US20230126005A1 (en) Consistent filtering of machine learning data
US11281644B2 (en) Blockchain logging of data from multiple systems
US11455217B2 (en) Transaction consistency query support for replicated data from recovery log to external data stores
US9063992B2 (en) Column based data transfer in extract, transform and load (ETL) systems
US10713589B1 (en) Consistent sort-based record-level shuffling of machine learning data
US10366053B1 (en) Consistent randomized record-level splitting of machine learning data
US9904722B1 (en) Log-based distributed transaction management
US9020949B2 (en) Method and system for centralized issue tracking
US9864746B2 (en) Association of entity records based on supplemental temporal information
US20120078946A1 (en) Systems and methods for monitoring files in cloud-based networks
CN113094434A (zh) 数据库同步方法、系统、装置、电子设备及介质
CN108647357A (zh) 数据查询的方法及装置
Gaikwad et al. A blockchain-based verification system for academic certificates
CN110019194B (zh) 数据核对方法、装置、计算机设备及存储介质
US10452684B2 (en) Sequence engine
US20220171791A1 (en) Replicating large statements with low latency
CN111198885A (zh) 数据的处理方法及装置
RU2751798C9 (ru) Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц
CN110502529B (zh) 数据处理方法、装置、服务器及存储介质
CN116204540A (zh) 操作日志记录方法、装置、设备及存储介质
US20220300504A1 (en) Generating a global delta in distributed databases
US11341159B2 (en) In-stream data load in a replication environment
CN110363515B (zh) 权益卡账户信息查询方法、系统、服务器及可读存储介质
CN113568892A (zh) 一种基于内存计算对数据源进行数据查询的方法和设备
CN115934670B (zh) Hdfs多机房的副本放置策略验证方法与装置

Legal Events

Date Code Title Description
TK4A Correction to the publication in the bulletin (patent)

Free format text: CORRECTION TO CHAPTER -FG4A- IN JOURNAL 20-2021 FOR INID CODE(S) (72)

TH4A Reissue of patent specification