BG4407U1 - Система за управление потока от информация при група от клъстери за големи данни с използване на изкуствен интелект - Google Patents

Abstract

Системата за управление потока от информация при група от клъстери за големи данни с използване на изкуствен интелект се състои от следните блокове: Потребителски блок (1); Блок Графически потребителски интерфейс (2); Блок Шел за Командно ориентирана обработка на заявка в Група от клъстери (3); Блок АРI за Програмно ориентирана обработка на заявка в Група от клъстери (4); Блок Обединение на резултат(и) от изпълнение на Входна заявка (5); Блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) (6); Блок Управление свързването с клъстери (7); Блок Клъстер от свободно свързани компютри (8); Блок Многошкафов клъстер (9); Блок Клъстер в облачна среда (10); Блок Изкуствен интелект (11); Блок Периодично изпълняване на тестове за производителност (12). Блок Изкуствен интелект (11) се състои от следните модули: Модул Програмни библиотеки за оркестриране и интегриране (11.2); Модул Начално обучение (11.3); Модул Поточно обучение (11.4); Модул Пакетно обучение (11.5); Модул Определяне на решения на Изкуствения интелект след проведено обучение (11.6); Модул Регистър на технически параметри за отделен клъстер с начално и текущо състояние (11.7); Модул Процесор за бизнес правила (11.1). В Блок AРI за Програмно ориентирана обработка на заявка в Група от клъстери (4) се съдържа и модул: Модул Виртуална машина - интерпретатор (6.1). Полезният модел предлага система за управление на потока от информация - команди и данни, наречен "Входна заявка за обработка", изпращан за обработка към мрежово свързани Клъстери за големи данни и за получаване на резултат от групата, като от една страна, системата да разпределя и насочва потокът от информация към определен(и) Клъстер(и) за големи данни, а от втора страна, да обединява резултатите от работата на адресиран(ите) Клъстер(и) за големи данни, като процесът на управление на потока от данни да се извършва с помощта на Изкуствен интелект. Единица поток от команди и данни може да се насочи както към един Клъстер, така и към няколко Клъстера за едновременно изпълнение. В настоящия полезен модел се използва понятието „Групата от клъстери за големи данни“, представляващо затворена кутия, оперирайки с нея като една единица, която следи и управлява къде и какви файлове и програми в кои клъстери се намират, за да ги активира и използва (невидимо за потребителя).

Description

Полезният модел е в областта на информационните технологии и се отнася за система за управление на потоци от информация - команди и данни, разпределяни и насочвани между мрежово свързани самостоятелни Клъстери за големи данни, като процесът на управление разпределението и насочването е с използване на Изкуствен интелект.

Предшестващо състояние на техниката

Клъстерът за големи данни (обикновено Hadoop cluster) е специален тип компютърен клъстер, проектиран специално за съхранение и анализиране на огромни количества неструктурирани и структурирани данни в разпределена изчислителна среда - клъстер от компютри [1]. Такива клъстери се управляват от Java базиран софтуер за разпределена обработка, който софтуер може да бъде както с отворен код, така и комерсиален, като използваните компютри обикновено са стандартни сървъри или персонални компютри, работещи със стандартни операционни системи с общо предназначение. Клъстерът за големи данни обработва както големи файлове, така и множество от файлове, изискващи големи дискови пространства. Клъстерите за големи данни са съставени от мрежа от компютри, логически обособени като главни и работни възли, които дирижират и изпълняват различните задачи в разпределената файлова система на Клъстера (обикновено от тип HDFS - Hadoop Distributed File System). При размер на данните, чиято обработка (анализ) в един клъстер изисква време несъответстващо на бизнес нуждите, се подхожда към създаване на няколко Клъстера от данни, комуникиращи си помежду си и създавайки Многоклъстерна система за големи данни. При Многоклъстерната система за големи данни, отделните клъстери може да са разположени в центъра за данни на отделната корпорация, част от клъстерите да са в изчислителен облак, или всички отделни клъстери да са разположени в облак [2].

В патент US 2015/0302075 А1 [3] Processing data from multiple sources - Обработка на данни от множество източници, една част от данните се обработват в един Клъстер за големи данни, друга част във втори Клъстер, а обобщението се обработва в трети Клъстер, при което не може да се отчете характера на обработваните данни, логическата обвързаност на данни към определена бизнес единица, нито нивото на производителност на цялостното решение.

В патент US 2017/0339156 А1 [4], Security design and architecture for a multi-tenant hadoop - (Дизайн и архитектура на сигурността за многопотребителски Hadoop клъстер), се предлага решение за използване на система от множество Hadoop клъстери, изпълняващи приложения принадлежащи на различни потребители, при която не се обръща внимание върху потенциалните въпроси на производителността, а се обръща внимание само на заделянето на един клъстер за обработка на едно приложение, т.е. контролира се сигурността на данните и обработката, свързани с едно приложение, а не на кой клъстер динамично да се разположи едно приложение за изпълнение или на кой клъстер да се разположат определен тип данни.

В патента US 2015/0074671 A1, Anticipatory warm-up of cluster resources for jobs processed on multiple cluster nodes [5] - Предварителна подготовка на клъстерни ресурси за задания, обработвани на множество клъстерни възли, се представя решение за намаляване на забавянето при обработката на набори от данни по разпределен начин, включително и при Hadoop система, състояща се от множество клъстери, като се съставя опашка от задачи, които се анализират за подреждане за изпълнение в отделни клъстери. Такова решение не води нито до скалабилност на производителността при увеличаване на данните, нито до възможност за управляемо хоризонтално или вертикално увеличаване на скалабилността на използваните клъстери.

Техническа същност на полезния модел

Системата за управление потока от информация при група от клъстери за големи данни с използване на изкуствен интелект се състои от следните блокове:

Потребителски блок 1;

Блок Графически потребителски интерфейс 2;

Блок Шел за Командно ориентирана обработка на заявка в Група от клъстери 3;

Блок API за Програмно ориентирана обработка на заявка в Група от клъстери 4;

Блок Обединение на резултат(и) от изпълнение на Входна заявка 5;

Блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6;

Блок Управление свързването с клъстери 7;

Блок Клъстер от свободно свързани компютри 8;

Блок Многошкафов клъстер 9;

Блок Клъстер в облачна среда 10;

Блок Изкуствен интелект 11;

Блок Периодично изпълняване на тестове за производителност 12.

Блок Изкуствен интелект 11 се състои от следните модули:

Модул Процесор за бизнес правила 11.1;

Модул Програмни библиотеки за оркестриране и интегриране 11.2;

Модул Начално обучение 11.3;

Модул Поточно обучение 11.4;

Модул Пакетно обучение 11.5;

Модул Определяне на решения на Изкуствения интелект след проведено обучение 11.6;

Модул Регистър на технически параметри за отделен клъстер с начално и текущо състояние 11.7.

В Блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) се съдържа и модул 6.

Модул Виртуална машина - интерпретатор 6.1.

Задачата на полезния модел е да предложи система за управление на потока от информация команди и данни, наречен „Входна заявка за обработка“, изпращан за обработка към мрежово свързани Клъстери за големи данни и за получаване на резултат от групата, като от една страна системата да 4 разпределя и насочва потокът от информация към определен(и) Клъстер(и) за големи данни, а от втора страна да обединява резултатите от работата на адресиран(ите) Клъстер(и) за големи данни, като процесът на управление на потока от данни да се извършва с помощта на Изкуствен интелект. Единица поток от команди и данни може да се насочи както към един Клъстер, така и към няколко Клъстера за едновременно изпълнение. В предложената система, един тип данни може да се обработва в един момент от време от един Клъстер за големи данни, а в друг момент от време от друг Клъстер за големи данни.

Клъстерът за големи данни [6] е мрежово свързана съвкупност от компютри за съхранение и обработка на структурирани, полуструктурирани и неструктурирани данни. Типичен представител е Hadoop клъстерът, към който има свързани освен софтуерните компоненти от неговата еко система (такива като HDFS, MapReduce, Yarn, Spark, Hive, HBase, Kafka, Lucene и пр.), а също и различни други системи като NoSQL бази от данни, CMS системи и прочие. Клъстерите за големи данни могат да бъдат няколко типа:

• Клъстер от свободно свързани компютри в следните видове физическа архитектура:

◦ Съвкупност от персонални компютри, свързани във Вътрешна мрежа (мрежа LAN и/или мрежа MAN, с вътрешни IP адреси);

◦ Съвкупност от отделни сървъри, свързани във Вътрешна мрежа;

◦ Съвкупност от сървъри, разположени в един шкаф и свързани с Вътрешна мрежа.

• Многошкафов клъстер, състоящ се от съвкупност от шкафове, всеки със сървъри, свързани с Вътрешна мрежа в рамките на шкафа и връзка между шкафовете чрез Вътрешна мрежа.

• Клъстер, реализиран в облачна среда с облачен достъп.

По принцип, „Клъстерът за големи данни“ се приема като затворена кутия, оперирайки с нея като една единица, в която управлението на клъстера следи и управлява къде и какви файлове и програми в кои сървъри се намират, за да ги активира и използва (невидимо за потребителя).

В настоящия полезен модел се предлага понятието „Групата от клъстери за големи данни“ да представлява затворена кутия, оперирайки с нея като една единица, която следи и управлява къде и какви файлове и програми в кои клъстери се намират, за да ги активира и използва (невидимо за потребителя).

Предлаганата в настоящия полезен модел система приема понятието „Входна заявка за обработка“, наречена още „входен поток от информация“, да се състои от команди и данни, като тази Входна заявка се подава към Група от клъстери за големи данни, и след оркестриране, преобразуване и насочване, заявката се ориентира за изпълнение към един или няколко клъстера от Групата от клъстери. Резултатът от работата на тези един или няколко клъстера се обединява като резултат от обработката на Входната заявка.

Входната заявка за обработка се подава от „Потребителски блок“ (човек или програма) или чрез блок „Шел за Командно ориентирана обработка на заявка“, или чрез блок „API за Програмно ориентирана обработка на заявка“. „Шелът за Командно ориентирана обработка“ има за цел да приема единична заявка за обработка, създадена от човек, като след изпълнението й, извежда резултата от обработката във вид четим за човека, и след това може да приема следваща заявка за обработка. Шелът работи в комуникация с „Потребителски блок“ чрез „Графически потребителски интерфейс“. „Потребителският блок“ въвежда чрез „Графическия потребителски интерфейс“ Входната заявка за обработка, като резултатът от обработката се извежда на „Графическия потребителски интерфейс“. Потребителската програма подава за обработка или единична Входна заявка, или съвкупност от няколко Входни заявки за обработка, оформени като „задача за обработка“, които се подават на блок „API за Програмно ориентирана обработка“ за обработка. Резултатът от обработката се връща чрез блок „API за Програмно ориентирана обработка“ на Приложната програма.

Входната заявка за обработка се подава за опериране, като първоначално се определят набор от потенциални клъстери за обработка, формира се и се преобразува заявката в междинни вътрешни формати, след което се избира един или няколко клъстера, който(които) да изпълни (изпълнят) заявката. Входната заявка за обработка, получена чрез блок „Шел за Командно ориентирана обработка на заявка“ или чрез блок „Api за Програмно ориентирана обработка на заявка“ се подава на блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“. Когато задача, състояща се от няколко Входни заявки се подава на блок „API за Програмно ориентирана обработка на заявка“, се използва модул на блока „Виртуална машина - интерпретатор“, за да се осигури последователно изпълнение на Входна заявка след Входна заявка от задачата. Блокът оркестриране и насочване на Входна заявка към определен(и) клъстер(и) оперира чрез „API за програмно ориентирана обработка на заявка“ последователни стъпки: i) „Обогатяване и разширение на Входната заявка за изпълнение“, извършваща първоначално избор на Клъстер(и) за големи данни за изпълнение на заявката, съобразно бизнес правилата за оркестриране заложени в модул „Процесор на бизнес правила“, формирайки Бизнес модифицирана входна заявка, и след това обогатяване на Бизнес модифицираната входна заявка с конкретизирани имена, параметри и константи, използвайки модул „Програмни библиотеки за оркестриране“, формирайки Обогатена бизнес модифицирана входна заявка; ii) „Интегриране“, извършваща включване и/или заместване на определени константи, имена и параметри в Обогатена бизнес модифицирана входна заявка с оглед получаване на Интегрирана входна заявка, отчитайки както архитектурните специфики на конкретната Група от Клъстери за данни, така и формирайки параметри за интегриране на получавани резултати в резултат на обучение и от изпълнение на предишни заявки до няколко клъстера, използвайки модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ и модул „Определяне на решения на Изкуствения интелект след проведено обучение“; iii) „Разделяне“, извършваща разделяне на Интегрираната входна заявка на една или няколко Технически заявки за обработка, всяка предназначена към определен Клъстер от данни; iv) „Ориентиране“, извършваща насочване на отделна Техническа заявка за изпълнение към определен физически клъстер за данни, получавайки Реална заявка за обработка от клъстер.

Блокът „Управление свързването с клъстери“ осигурява свързването към един или няколко клъстера за изпълнение на Реални заявки за обработка. Към този блок са свързани мрежово отделните клъстери, които могат да бъдат или „Клъстер от свободно свързани компютри“, или „Многошкафов клъстер“, или „Клъстер в облачна среда“.

Блокът „Изкуствен интелект“ осигурява изпълнението на функциите на изкуствения интелект по „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“, като блокът има модул „Процесор за бизнес правила“, модул „Програмни библиотеки за оркестриране и интегриране“, модул 6 „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“, модул „Определяне на решения на Изкуствения интелект след проведено обучение“. Модулът „Определяне на решения на Изкуствения интелект след проведено обучение“ интегрира дейностите по обучение, извършвани от блок „Шел за командно ориентирана обработка на заявка“, модул „Начално обучение“, модул „Поточно обучение“ и на модул „Пакетно обучение“. Във вземането на решения на модул „Определяне на решения на Изкуствения интелект след проведено обучение“ участва и блок „Периодично изпълняване на тестове за производителност“, който периодично след изпълнение на тестови процедури на всеки отделен клъстер, определя производителността на отделните клъстери в даден момент.

Блокът „Графически потребителски интерфейс“ е свързан с блок „Изкуствен интелект“ за интерактивно зареждане на бизнес правила в модул „Процесор за бизнес правила“ за определяне на условия за работа на модул „Начално обучение“, за зареждане на начални технически параметри на отделните клъстери в модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ и за зареждане/модифициране на библиотеки в блок „Програмни библиотеки за оркестриране и интегриране“.

Блокът „Обединение на резултат(и) от изпълнение на Входна заявка“ обединява резултат(и) от изпълнение на Входна заявка, която е била насочена към един или няколко клъстера, като резултатът може да се състои от множество данни, които се обединяват в този блок и се предават или към блок „Шел за Командно ориентирана обработка на заявка в Група от клъстери“, или към блок „API за Програмно ориентирана обработка на заявка в Група от клъстери“, в зависимост откъде е дошла Входната заявка, които от своя страна предават резултатите съответно на блок „Графически потребителски интерфейс“ или на Приложна програма.

Модулът „Процесор за бизнес правила“ определя кой клъстер какво основно предназначение има, като използва правилата: кои клъстери за какви формати на данни основно са предназначени, кои клъстери за какви приложения основно са предназначени, кои клъстери за обслужване на кои бизнес организации / департаменти основно са предназначени и кои клъстери за какви технологически процеси са предназначени - за разработване на приложения, за тестване на приложения, за производствено изпълнение на приложения.

Модулът „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ оперира с данни, представящи техническото състояние на отделния клъстер чрез техническите параметри: Използвани типове данни; Първоначален капацитет на дисково пространство; Налично дисково пространство в даден клъстер; Средна производителност на Клъстер за отделни формати на данни; Средна производителност на клъстер за определен файлов размер; Налично Балансиране на натоварването на Клъстер; Налична изградена Висока надеждност на Клъстер; Възможност за три вида скалабилност на клъстер: хоризонтална (в добавяне на шкафове за сървъри за данни), вертикална (в добавяне на сървъри за данни в шкаф) и дълбочинна (в промяна брой и размер на използваните дискове за определен сървър за данни) с потенциално дневно/месечно нарастване; Използвани компоненти на информационната сигурност; Политика за архивиране - периодичност и място за съхранение; Текущ номер на обработвана заявка с брой очаквани връщани резултати от отделни клъстери.

Модулът „Начално обучение“ служи за обучение на Системата преди започване на нейното функциониране с данни от функциониране на отделни несвързани самостоятелни клъстери за данни. Това е така нареченото „супервайзорно обучение“. Модулът „Поточно обучение“ служи за обучение в реално време от динамично постъпващите Входни заявки за обработка и от данни от Модул „Начално обучение“, като процесът на поточно обучение е с ограничена функционалност, защото той трябва да извършва обучението в реално време. Модулът „Пакетно обучение“ служи за обучение от всички постъпили до момента Входни заявки за обработка, от данни от Модул „Поточно обучение“ и от текущото техническо състояние на Групата клъстери определено от модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“, като този процес на обучение се изпълнява във фонов режим, т.е. в паралел на работата на Блока „Обединение на резултат(и) от изпълнение на Входна заявка“, включително и в моментите, когато не се обработват Входни заявки. Модулът „Определяне на решения на Изкуствения интелект след проведено обучение“ управлява работата на Модул „Поточно обучение“ и на Модул „Пакетно обучение“, като получава управление от блок „Начално обучение“ и от блок „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“. За изпълнение на работата на Модул „Определяне на решения на Изкуствения интелект след проведено обучение“ се използват данни от Модул „Процесор за бизнес правила“ и от Модул „Програмни библиотеки за оркестриране и интегриране“.

Блокът „Периодично изпълняване на тестове за производителност“ се активира автоматично периодично през определен интервал от време, като чрез връзката си с блок „Управление свързването с клъстери“ стартира изпълнение на определени тестови процедури за определяне техническите параметри на отделните клъстери, които параметри се зареждат в блок „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“, като този процес на тестване се изпълнява във фонов режим, т.е. в паралел на работата на Блока „Обединение на резултат(и) от изпълнение на Входна заявка“, включително и в моментите, когато не се обработват Входни заявки.

Пояснение на приложената фигура

Настоящият полезен модел е показан на фигура 1. На фигурата с позиция 1 е обозначен „Потребителски блок“, който може да бъде както човек, опериращ с Групата от клъстери за данни, така и Приложна програма на потребител, която да оперира с Групата от клъстери, блок „Графически потребителски интерфейс“ 2, блок „Шел за Командно ориентирана обработка на заявка в Група от клъстери“ 3, блок “API за Програмно ориентирана обработка на заявка в Група от клъстери“ 4, блок „Обединение на резултат(и) от изпълнение на Входна заявка“ 5, блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6, блок „Управление свързването с клъстери“ 7, блок „Клъстер от свободно свързани компютри“ 8, блок „Многошкафов клъстер“ 9, блок „Клъстер в облачна среда“ 10, блок „Изкуствен интелект“ 11, блок „Периодично изпълняване на тестове за производителност“ 12.

Блок „Изкуствен интелект“ 11 се състои от следните модули: модул „Процесор за бизнес правила“ 11.1, модул „Програмни библиотеки за оркестриране и интегриране“ 11.2, модул „Начално обучение“ 11.3, модул „Поточно обучение“ 11.4, модул „Пакетно обучение“ 11.5, модул „Определяне на решения на 8

Изкуствения интелект след проведено обучение“ 11.6, модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ 11.7.

„Потребителският блок“ 1 е свързан с Блок „Графически потребителски интерфейс“ 2 за въвеждане на единични Входни заявки за обработка. Блок „Графически потребителски интерфейс“ 2 е свързан с блок „Шел за Командно ориентирана обработка на заявка в Група от клъстери“ 3 за подаване на единични Входни заявки за обработка и получаване на резултат от работата по заявка за обработка. Потребителският блок 1 е свързан с блок „API за Програмно ориентирана обработка на заявка в Група от клъстери“ 4 за подаване от Приложна програма на програмно оформена съвкупност от Входни заявки за обработка, наречена „задача за обработка“ и за предаване на резултата от работа на „задача за обработка“ на Приложната програма. Блок „Шел за Командно ориентирана обработка на заявка в Група от клъстери“ 3 е свързан с блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“ 6 за предаване на Входна заявка за обработка. Блок “API за Програмно ориентирана обработка на заявка в Група от клъстери“ 4 е свързан с блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“ 6 за предаване на „задача за обработка“, като чрез модул на блока „Виртуална машина - интерпретатор“ 6.1 се осигурява „задачата за обработка“ да се подава Входна заявка след Входна заявка последователно към блока „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6. Блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“ 6 е свързан към блок „Управление свързването с клъстери“ 7 за предаване на формираната Реална заявка за обработка от клъстер. Блок „Управление свързването с клъстери“ 7 е свързан съответно с блокове „Клъстер от свободно свързани компютри“ 8, „Многошкафов клъстер“ 9 и „Клъстер в облачна среда“ 10 за изпълнение на Реални заявки за обработка в съответен(тни) клъстер(и). Блок „Графически потребителски интерфейс“ 2 е свързан с блок „Изкуствен интелект“ 11 за предаване на Бизнес правила в модул „Процесор за бизнес правила“ 11.1 и на указания и данни за модул „Начално обучение“. Блок „Изкуствен интелект“ 11 е свързан с блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и)“ 6 за подпомагане вземане на решения за оркестриране на Входни заявки за обработка. Блок „Изкуствен интелект“ 11 е свързан с блок „Периодично изпълняване на тестове за производителност“ 12, за да стартира периодично тестове за отделните клъстери. Блок „Периодично изпълняване на тестове за производителност“ 12 е свързан с блок „Управление свързването с клъстери“ 7, за да подпомага вземането на решения за избор на определен клъстер(и) за данни, към който (които) да се подаде заявка за обработка.

Блок „Графически потребителски интерфейс“ 2 е свързан с блок „Изкуствен интелект“ 11, модул „Процесор за бизнес правила“ 11.1 за получаване и модифициране на бизнес правила, за определяне на условия за работа на модул „Начално обучение“ 11.3 и с модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ 11.7 за определяне оркестрирането и насочването на Входната заявка. В блок „Изкуствен интелект“ 11, модул „Начално обучение“ 11.3 е свързан с блок „Графически потребителски интерфейс“ 2 за определяне на условия за работа на модула, свързан е с модул „Поточно обучение“ 11.4 за определяне на неговата работа, и е свързан с модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 за формиране на неговото функциониране. В блок „Изкуствен интелект“ 11, модул „Поточно обучение“ 11.4 е свързан с модул „Начално обучение“ 11.3 и модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 за определяне на неговото функциониране. В блок „Изкуствен интелект“ 11, модул „Пакетно обучение“ 11.5 е свързан с модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 и модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ 11.7 за определяне на неговото функциониране. В блок „Изкуствен интелект“ 11, модул „Регистър на технически параметри за отделен клъстер с начално и текущо състояние“ 11.7 е свързан с блок „Графически потребителски интерфейс“ 2 за задаване начални стойности на техническите параметри на клъстерите, с модул „Пакетно обучение“ 11.5 за подаване технически параметри, свързани с обучението и е свързан с модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 за формиране решения на Изкуствения интелект. В блок „Изкуствен интелект“ 11, модул „Програмни библиотеки за оркестриране и интегриране“ 11.2 е свързан с блок „Графически потребителски интерфейс“ 2 за зареждане / модифициране на програмните библиотеки и с модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 за формиране решения на Изкуствения интелект. В блок „Изкуствен интелект“ 11, модул „Определяне на решения на Изкуствения интелект след проведено обучение“ 11.6 освен свързаността му с модулите „Програмни библиотеки за оркестриране и интегриране“ 11.2, „Начално обучение“ 11.3, „Поточно обучение“ 11.4 и „Пакетно обучение“ 11.5, той е свързан и с блок „Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6 за формиране в окончателен вид на Входната заявка за обработка от съответен клъстер или клъстери.

Примери за изпълнение на полезния модел

Пример 1. Първият пример за използване на предложената система е при Група от клъстери, състояща се от три броя многошкафови клъстера, първият клъстер № 1 е предназначен за структурирани и неструктурирани данни, вторият клъстер № 2 е предназначен за неструктурирани данни като аудио и видео, а третият клъстер № 3 е предназначен за профили на клиенти и техните съхранени исторически взаимодействия и операции. Входната заявка за обработка, съставена от Потребителски блок 1 под формата на човек се състои от „избор на най-желаното видеонаблюдение на Клиент-Х“. Заявката се подава от Потребителски блок 1 чрез графически потребителски интерфейс 2 към блок Шел за командно ориентирана обработка на заявка в Група от клъстери 3, която заявка превърната в съответна дигитална форма се насочва към блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6. Последният блок извършва съответното оркестриране и насочване на заявката, като формира Реална заявка за обработка от клъстер № 2, като блок Управление свързването с клъстери 7 я предава за изпълнение от клъстер № 2. След обработката от клъстера, резултатът от блок Управление свързването с клъстери 7, представляващ идентификатора на видеонаблюдението, се предава на блок Обединение на резултат(и) от изпълнение на входна заявка 5, който чрез блок за Командно ориентирана обработка на заявка в Група от клъстери 3 го подава във форма за визуализиране на блок Графически потребителски интерфейс 2, за да го представи в четим от човек вид. При работата на блок Оркестриране и насочване на входна заявка към определен(и) клъстер(и) 6 се използва информация от модул Процесор за бизнес правила 11.1 на блока Изкуствен интелект 11, който насочва заявката за изпълнение към клъстер № 2, понеже в бизнес правилата 10 е записано, че видеоданните се намират в клъстер № 2 и модулът Начално обучение 12 на блок Изкуствен интелект 11 насочва също към клъстер № 2. Работата на модул Регистър на технически параметри за отделен клъстер с начално и текущо състояние 11.7 на блок Изкуствен интелект 11 не налага промяна на това решение за избор на клъстер № 2.

Пример 2. Вторият пример използва същата структура на група от клъстери, като на първия пример - първият клъстер № 1 е предназначен за структурирани и неструктурирани данни, вторият клъстер № 2 е предназначен за неструктурирани данни, като аудио и видео, а третият клъстер № 3 е предназначен за профили на клиенти и техните съхранени исторически взаимодействия и операции. Потребителски блок 1 под формата на потребителска програма, предава „задача за обработка“ за „намиране на трите най-желани видеонаблюдения на Клиент-Х, като резултатът да се запише в неговия профайл. Тази „задача“ се състои от следните четири единични входни заявки за обработка: „избор на първото най-желано видеонаблюдение на Клиент-Х“; „избор на второто най-желано видеонаблюдение на Клиент-Х“; „избор на третото найжелано видеонаблюдение на Клиент-Х“; и „запис на идентификациите на трите получени видеонаблюдения в профила на Клиент-Х“. Задачата на Потребителски блок 1 се подава към блок Api за Програмно ориентирана обработка на заявка в Група от клъстери 4, който я насочва към модул Виртуална машина - интерпретатор 6.1 на блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6. Този модул подава към самия блок първите три единични входни заявки, които се изпълняват по аналогичен начин на първия пример, но последователно една след друга, като резултатите идентификациите на трите получени видеонаблюдения се натрупват и чрез изпълнение на четвъртата единична входна заявка се записват в клъстер № 3.

Пример 3. Третият пример използва група от четири клъстера, както следва: първият клъстер № 1 е предназначен за структурирани и неструктурирани данни; вторият клъстер № 2 е предназначен за неструктурирани данни, като аудио и видео; третият клъстер № 3 е предназначен за много големи по размер видеоданни, а четвъртият клъстер № 4 е предназначен за профили на клиенти и техните съхранени исторически взаимодействия и операции. Входната заявка за обработка е съставена от Потребителски блок 1 и се състои от Входната заявка „запиши видеозаписът на Клиент-Х“. По подобие на първия пример, Входната заявка се насочва към блок Оркестриране и насочване на Входна заявка към определен(и) клъстер(и) 6, като блок Изкуствен интелект 11 трябва да определи видеозаписът към кой клъстер да го насочи - клъстер № 2 или клъстер № 3 (това се определя от бизнес правилата в модул Процесор за бизнес правила 11.1 на блок Изкуствен интелект 11, в който е указано, че видеоданни се записват в клъстер № 2 или клъстер № 3). Модулът Поточно обучение 11.4 на блок Изкуствен интелект 11 до момента е насочвал видеозаписите към клъстер № 2, но при настоящата Входна заявка видеоданните за запис са много големи (в рамките на 5 GB) и се прави оценка, че записването му в клъстер № 2 би довело да намаление на производителността на този клъстер, в резултат на което модул Определяне на решения на Изкуствен интелект след проведено обучение 11.6 на блок Изкуствен интелект 11 избира този видеозапис да се запише в клъстер № 3. Това решение се отразява в този модул като текущо състояние, и същевременно се отбелязва в модул Поточно обучение 11.4 на блок Изкуствен интелект 11, че видеозаписи с размер на 5 GB и повече да се насочват към клъстер № 3.

Приложение (използване) на полезния модел

Предложената система за управление потока от информация при Група от клъстери за големи данни с използване на Изкуствен интелект, се използва при работа с няколко клъстера за големи данни, като се определя към кой клъстер да се ориентира съответна Входна заявка за обработка, като главната приоритетна цел е заявката да се обработи за максимално кратко време. При използване на клъстери за големи данни, първоначално се изхожда от създаване на един клъстер, но с нарастване на обема данни и размерите на отделните данни, се стига до ситуация, в която времето за обработка на следващи големи данни започва да става по-неприемливо. В такъв случай се подхожда към създаване на няколко клъстера за големи данни, данните се разпределят между тези клъстери и се прилага предложената в полезния модел Система за управление потока от информация при Група от клъстери за големи данни. По този начин предложената в полезния модел Система за управление потока от информация при Група от клъстери за големи данни ще осигури намаляване времето за обработка на Входна заявка за обработка.

Claims (2)

1. Система за управление потока от информация при група от клъстери за големи данни с използване на изкуствен интелект, състояща се от блок графически потребителски интерфейс (2), блок Шел за командно ориентирана обработка на заявка в група от клъстери (3), блок API за програмно ориентирана обработка на заявка в група от клъстери (4), блок обединение на резултат(и) от изпълнение на входна заявка (5), блок оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6), блок управление свързването с клъстери (7), блок клъстер от свободно свързани компютри (8), блок многошкафов клъстер (9), блок клъстер в облачна среда (10), блок изкуствен интелект (11) и блок периодично изпълняване на тестове за производителност (12), характеризираща се с това, че потребителски блок (1) е свързан с блока графически потребителски интерфейс (2) и блока API за програмно ориентирана обработка на заявка в група от клъстери (4), блок графически потребителски интерфейс (2) е свързан с блока Шел за командно ориентирана обработка на заявка в група от клъстери (3) и блока изкуствен интелект (11), блокът Шел за командно ориентирана обработка на заявка в група от клъстери (3) е свързан с блока оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6), блокът Api за програмно ориентирана обработка на заявка в група от клъстери (4) е свързан с блока оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6), блокът оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6) е свързан с блока управление свързването с клъстери (7), блокът управление свързването с клъстери (7) е свързан с отделните клъстери за големи данни (8, 9 и 10), блокът изкуствен интелект (11) е свързан с блока оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6) и блок периодично изпълняване на тестове за производителност (12), а блок периодично изпълняване на тестове за производителност (12) е свързан с блок управление свързването с клъстери (7).

2. Система съгласно претенция 1, характеризираща се с това, че блокът изкуствен интелект (11) се състои от модул процесор за бизнес правила (11.1), модул програмни библиотеки за оркестриране и интегриране (11.2), модул начално обучение (11.3), модул поточно обучение (11.4), модул пакетно обучение (11.5), модул определяне на решения на изкуствения интелект след проведено обучение (11.6) и модул регистър на технически параметри за отделен клъстер с начално и текущо състояние (11.7), като модул процесор за бизнес правила (11.1) е свързан с блок графически потребителски интерфейс (2), модул начално обучение (11.3) е свързан с блок графически потребителски интерфейс (2), с модул поточно обучение (11.4) и с модул определяне на решения на изкуствения интелект след проведено обучение (11.6), модул поточно обучение (11.4) е свързан с модул начално обучение и модул определяне на решения на изкуствения интелект след проведено обучение (11.6), модул пакетно обучение (11.5) е свързан с модул определяне на решения на изкуствения интелект след проведено обучение (11.6) и модул регистър на технически параметри за отделен клъстер с начално и текущо състояние (11.7), модул регистър на технически параметри за отделен клъстер с начално и текущо състояние (11.7) е свързан с блока графически потребителски интерфейс (2), с модула пакетно обучение (11.5) и с модула определяне на решения на изкуствения интелект след проведено обучение (11.6), модулът програмни библиотеки за 13 оркестриране и интегриране (11.2) е свързан с блока графически потребителски интерфейс (2) и с модул определяне на решения на изкуствения интелект след проведено обучение (11.6), модул определяне на решения на изкуствения интелект след проведено обучение (11.6) е свързан с модулите програмни библиотеки за оркестриране и интегриране (11.2), начално обучение (11.3), поточно обучение (11.4) и пакетно обучение (11.5) и с блок оркестриране и насочване на входна заявка към определен(и) клъстер(и) (6).