EA005269B1 - Способ организации и хранения данных в базе данных и база данных - Google Patents

Abstract

Предлагается база данных, в которой конечные наборы данных (20, 22, 24, 26, 28 и 30) разделены на иерархические серии уровней (уровень 1, уровень 2, уровень 3). Данные вводятся в конечный набор данных на первом уровне (уровень 1) вплоть до заполнения указанного набора данных. Данные перемещаются из конечного набора данных (20) в подчиненные наборы данных (24, 26), уменьшая, таким образом, время доступа к жесткому диску при вводе данных в базу данных, поскольку множество вводов требует всего несколько операций с диском.

Description

Настоящее изобретение относится к способу организации данных в базе данных, а также к базе данных, в которой реализуется такой способ.

Как правило, базы данных, являются ли они базой данных, описаны в заявке заявителя СВ 0029238.3, рассматриваемой в Великобритании, или другого известного типа, например структуры В-дерева, имеют граф решения или другой индекс, который указывает на конечные наборы данных, которые сохраняют данные, соответствующие критериям поиска. Дополнительно и/или альтернативно конечные наборы данных могут хранить указатели, указывающие на местоположение данных, которые соответствуют поисковому ключу.

В любой базе данных любого разумного размера конечные наборы данных хранятся в запоминающих устройствах большой емкости, которые в настоящее время, как правило, являются приводами жестких дисков. Устройства с жесткими дисками работают значительно медленнее, чем полупроводниковая память, и, следовательно, работа с базой данных может быть значительно замедлена из-за необходимости выполнять операции ввода-вывода в эти запоминающие устройства большой емкости. Даже с минимальным верхним индексом база данных, как правило, должна выполнить 2 операции ввода-вывода, как часть цикла чтения, изменения и перезаписи, чтобы ввести данные в индекс и конечный набор данных.

В соответствии с первой целью настоящего изобретения, оно обеспечивает способ организации хранения данных в базе данных, в которой конечные наборы данных размещены в иерархической структуре и в которой конечные наборы данных распределены таким образом, что группы данных вводятся в выбранный конечный набор данных на первом уровне значимости до тех пор, пока число групп данных не достигает пороговой величины для выбранного набора данных, и затем содержание выбранного конечного набора данных переносится в подчиненные конечные наборы данных, освобождая, таким образом, выбранный конечный набор данных.

Таким образом, можно создать изменяемую структуру конечного набора данных, которая значительно уменьшает число конечных наборов данных, которые немедленно следуют за выводом решения.

Кроме того, также можно распределить конечные наборы данных в графе выбора.

Известная база данных имеет одиночный уровень конечных наборов данных из графа решения. Каждая новая группа данных, введенная в конечный набор данных, требует по меньшей мере двух операций ввода-вывода для включения этих данных (если данные могут принадлежать только одному набору данных и можно выполнять операции ввода-вывода, если вводимые данные могут принадлежать больше чем одному набору данных).

Организуя конечные наборы данных в иерархической структуре, можно обеспечить то, что число конечных наборов данных, непосредственно доступных от графа решения, может быть значительно уменьшено, и можно продолжить обработку наиболее иерархически значимых (на верхнем уровне) конечных наборов данных в быстродействующей памяти типа полупроводниковой памяти. Это особенно важно в тех вариантах изобретения, в которых конечные наборы данных распределены через граф решения. Путем хранения конечных наборов данных верхнего уровня в полупроводниковой памяти можно снизить стоимость ввода-вывода в базу данных. Таким образом, можно обеспечить значительное повышение эффективности операции ввода базы данных при работе с клавиатурой и при автоматической операции ввода данных.

Преимущественно, конечные наборы данных высокого уровня эффективно кэшируют данные вплоть до того момента, когда конечный набор данных становится полным или число входов превышает предопределенный уровень. Затем конечный набор данных очищается, перемещая его содержание в подчиненные наборы данных.

В процессе перемещения обрабатываемые данные сортируются по критерию поиска, который является поисковым ключом, таким образом, что данные могут быть случайным образом распределены между соседними зависимыми наборами данных. Это заполнение и процесс перемещения повторяются для множества иерархических уровней в структурах конечных наборов данных.

Перемещение данных может потребовать и действительно часто требует передачи данных между несколькими конечными наборами данных, хранящихся в запоминающем устройстве большой емкости. При этом выполняются операции считывания с диска и записи на диск, но теперь они могут выполняться для конечного набора данных в целом, а не для каждой элементарной группы набора данных и, следовательно, стоимость ввода-вывода значительно снижается.

Преимущественно, при ключевом поиске или стирании соответствующий конечный набор данных верхнего уровня и каждый зависимый конечный набор данных, чьи критерии решения соответствуют поисковому ключу, изучаются, чтобы проверить, сохранены ли в них соответствующие данные. Таким образом, запрос базы данных по верхнему уровню расширен по сравнению с известной базой данных, но это приемлемо в некоторых структурах базы данных, где число вводов большое, а число запросов низкое.

В тех вариантах изобретения, где конечные наборы данных распределены по всему графу решения, расстояние между конечными наборами данных может быть ограничено с тем, чтобы предотвратить слишком частое появление наборов данных.

Преимущественно, параметр расстояние между наборами данных определяется целым числом О. О может быть числом большим или равным нулю. Таким образом, например, база данных, может быть создана, где

О = 0: конечный набор данных может быть сформирован в каждом узле ветвления.

О = 1: конечный набор данных может быть сформирован в каждом следующем узле ветвления.

= 2: конечный набор данных может быть сформирован в каждом втором узле ветвления и так далее.

Эти правила могут поддерживаться по всему графу решения до тех пор, пока не будут достигнуты конечные уровни О графа решения. На этих уровнях правила, относящиеся к иерархическому расстоянию между конечными наборами данных, становятся неосуществимыми и, следовательно, фактически не применяются.

В соответствии со второй целью настоящего изобретения, оно обеспечивает базу данных, в которой конечные наборы данных базы данных размещаются в иерархической структуре и в которой конечные наборы данных размещаются таким образом, что группы данных вводятся в выбранный набор данных первого уровня значимости до тех пор, пока число групп данных там не достигает пороговой величины. После этого содержание выбранного конечного набора данных перемещается в подчиненные наборы данных, освобождая, таким образом, выбранный конечный набор данных.

Согласно первой цели настоящего изобретения, в нем предусмотрен процессор обработки данных по определенной компьютерной программе, чтобы осуществить реализацию первой цели настоящего изобретения.

Настоящее изобретение далее описывается на примере его осуществления со ссылками на сопровождающие чертежи, на которых:

фиг. 1 схематично показывает базу данных, имеющую конечные наборы данных, размещенные обычным образом;

фиг. 2 схематично показывает базу данных, имеющую конечные наборы данных, размещаемые в соответствии с настоящим изобретение; и фиг. 3 - структурная схема базы данных, имеющей конечные наборы данных, размещенные в графе решения и составляющие вариант настоящего изобретения.

База данных, показанная на фиг. 1, имеет индекс 2, который включает граф решения 4 и множество конечных наборов данных 6, 8, 10, 12 и 14. Каждый конечный набор данных имеет один и только один путь через граф решения.

Однако каждый конечный набор данных указывает на соответствующие входы в систему хранения данных 16.

Граф решения 4 включает множество узлов решения, в которых поисковый ключ согласован с критериями решений, чтобы определить путь прохождения через граф решения. Внутренняя организация ключа в графе решения не является частью настоящего изобретения и, следовательно, не будет подробно описываться здесь. Однако структура индексации известной области техники, типа индексации В-дерева может быть использована в графе решения.

В устройстве, показанном на фиг. 1, все конечные наборы данных 6, 8, 10, 12 и 14 имеют равное значение и, таким образом, никакой конечный набор данных не является иерархически более значимым, чем любой другой конечный набор данных, и действительно здесь может быть много сотен или тысяч конечных наборов данных.

В устройстве, показанном на фиг. 2, конечные наборы данных размещаются в иерархической структуре. В показанном на этой фигуре устройстве имеются три уровня конечных наборов данных, причем набор данных с уровнем один является иерархически наиболее значимым, а уровень три является иерархически наименее значимым. Таким образом, в этом устройстве имеется только одна четверть числа конечных наборов данных уровня от уровня три конечного набора данных и опять же в этом примере набор данных с уровнем один имеет вход в шесть других конечных наборов данных. Ясно, что при увеличении числа уровней для данного числа конечных наборов данных на наименее значащем уровне, число конечных наборов данных номер уровня один прогрессивно уменьшается.

Предположим теперь, что желательно ввести данные в базу данных. Граф решения управляется ключом ввода для ввода, как это имеет место в известных базах данных в случае известной системы с конечным набором данных, для определения конечного набора данных, которому принадлежит этот вход. В базе данных, показанной на фиг. 1, это привело бы к одному набору данных, уникально идентифицируемому. Однако в настоящем изобретении это приводит к одному конечному набору данных 20 из множества конечных наборов данных первого уровня (из которого для ясности показаны только два: 20 и 22). Преимущественно, конечные наборы данных 20 и 22 первого уровня также хранятся в быстродействующей памяти, которая является либо жестким диском с повышенным числом оборотов, либо, что все-таки лучше, полупроводниковой памятью, так что время, затрачиваемое на ввод данных в конечный набор данных 20, является небольшим по сравнению со временем, требуемым для ввода данных в один из конечных наборов данных 6, 8, 10, 12 и обычной базы данных. Действительно, если конечные наборы данных 20 и 22 первого уровня хранятся в полупроводниковой памяти, то не требуется никаких дополнительных расходов на запись данных в эту память.

По мере того, как все больше и больше данных вводится в базу данных, конечный набор данных 20 начинает заполняться. Как только число вводов в конечный набор данных 20 достигает предопределенной величины, соответствующей полному набору данных, вводы в конечный набор данных 20 перемещается вниз в соседние зависимые конечные наборы данных 24 и 26, которые принадлежат уровню 2 из иерархической структуры.

Решение относительно того, который из нижних конечных наборов данных уровня 22 и 24 получает ввод от конечного набора данных 20 первого уровня, определяется, продолжая выполнять правила перемещения, которые существуют в графе решения 4. Таким образом, например, если граф решения 4 имеет правила, основанные на отдельных разрядных величинах увеличивающегося порядка числа разряда, то правило перемещения данных от конечного набора данных верхнего уровня до конечного набора данных 24 и 26 второго уровня будет использовать следующий бит в поисковом ключе, чтобы определить, какой из конечных наборов данных 24 или 26 должен стать получателем каждой группы данных. В течение этого процесса перемещения конечный набор данных 20 не заполняется.

Процесс перемещения от уровня N до уровня N+1 происходит на каждом уровне в иерархии конечных наборов данных, поскольку каждый конечный набор данных заполняется на этом уровне. Таким образом, как только конечный набор данных 26 заполняется полностью, это событие, в свою очередь, перемещает данные из набора 26 к его зависимым конечным наборам данных 28 и 30 на третьем иерархическом уровне. В этом примере третий уровень самый низкий иерархический уровень, и конечные наборы данных 28 и 30 не могут передать свои данные в зависимые конечные наборы данных. Однако, если четыре или большее количество уровней конечных наборов данных включены в эту иерархическую структуру, то конечные наборы данных 28 и 30 могут перемещать свои данные в свой собственный зависимый конечный набор данных, как только они будут заполнены. Можно ожидать, что при случайном распределении ключей во время перемещения половина вводов в конечном наборе данных 20 будет передана в конечный набор данных 24, а другая половина будет передана в набор данных 26. Этот процесс повторяется на каждом уровне перемещения таким образом, что все вводы, в основном, одинаково распределены по всем конечным наборам данных нижнего уровня.

Стоимость перемещения ввода-вывода может быть отображена в операции перемещения данных от конечного набора данных 26 к конечным наборам данных 28 и 30. В этом процессе данные должны считываться из конечного набора данных 26, который требует одного считывания с диска. Конечные наборы данных нижнего уровня 28 и 30 также должны считывать свои данные с диска, и это требует двух операций считывания. Данные от конечного набора данных 26 затем сортируются, чтобы правильно указать место назначения - наборы данных 28 или 30, вводы обновляются и затем данные этих двух конечных наборов данных 28 и 30 нижнего уровня снова записываются на диск, требуя двух операций записи. После этого конечный набор данных 26 освобождается, что требует одной операции записи. Таким образом, это составляет общую стоимость шести операций ввода-вывода на перемещение. Однако это одиночное перемещение может включать сотни вводов. Следует также отметить, что перемещение от конечного набора данных верхнего уровня 20 потребует меньше времени, потому что, как правило, он постоянно находится в памяти и, следовательно, потребуется выполнить только две операции чтения наборов 24 и 26 и запись в эти наборы 24 и 26.

Рассмотрим иерархическую структуру, представленную на фиг. 2, где конечный набор данных имеет 8 подуровней (где 8 = 2 в этом случае, 8=(Ь-1), где Ь - число уровней) - число операций ввода-вывода, которые требуются, чтобы переместить ввод на самый низкий уровень 68. Однако, поскольку каждая операция перемещения включает сдвиг полного конечного набора данных, который содержит Е вводов, то стоимость ввода-вывода для каждого ввода дается следующим выражением:

Стоимость ввода/вывода = 68/Е

Следовательно, если Е достаточно большое и/или 8 достаточно малое, стоимость вводавывода может быть значительно снижена по сравнению с известной системой, показанной на фиг. 1, которая имеет вдвое большую стоимость ввода-вывода на ввод. Таким образом, при конечном наборе данных, который имеет 100 вводов и глубину конечного набора данных 8, стоимость ввода-вывода на ввод составляет 6 х (3/100) = 0,48.

Следует отметить, что для фиксированного размера индекса уменьшение 8 увеличивает производительность ввода, что также увеличивает число конечных наборов данных, которые должны храниться в памяти для реализации преимущества заявляемой системы.

При запросе индекса для конкретного ключа должен быть опрошен каждый конечный набор данных в одиночном пути к наименее значащему набору данных. Таким образом, если иерархическая структура состоит из уровней Ь, то должно быть опрошено Ь, чтобы найти все результаты, которые соответствуют ключу, поскольку ключ может постоянно находиться на любом иерархическом уровне. Таким образом, эта схема индексации увеличивает производительность или легкость, с который вводы могут быть добавлены к индексу за счет некоторого снижения качества выполнения запроса. Тем не менее, такой компромисс приемлем в любом применении, где нужно получить большие количества данных, но запрос по этим данным делается редко. Пример такого применения система обнаружения мошенничества, которая должна загрузить в систему каждую сделку, но делает запрос в отношении только тех сделок, которые относятся к подозрительной деятельности.

Таким образом, можно обеспечить более эффективную работу базы данных, преобразуя структуру конечного набора данных в иерархическую структуру.

Изобретатель обнаружил, что все конечные наборы данных не должны находится на самом низком уровне структуры базы данных. Как отмечено выше, в распределенной структуре, показанной на фиг. 2, данные вводятся в первый найденный конечный набор данных, которым является конечный набор данных уровня 1, и затем данные прогрессивно перемещаются к нижним уровням.

Таким образом, затраты на ввод могут быть дополнительно снижены, если конечные наборы данных распределены через структуру индекса решения.

На фиг. 3 показана модифицированная база данных, в которой конечные наборы данных размещаются в иерархической структуре и в которой структура введена в граф решения.

На фиг. 3 показана часть графа решения, причем граф решения был создан с расстоянием между конечными наборами данных 0=3, в результате чего конечный набор данных 40, 50 и 60 может находиться у каждого третьего узла ветвления. Предположим, что мы обращаемся к базе данных в период времени, когда данные, содержащиеся в ней, таковы, что конечный набор данных 40 только что был создан, но что конечные наборы данных 50 и 60 еще не созданы.

При использовании данные вводятся в базу данных, и содержание этих данных таково, что конечный набор данных 40 заполняется полностью. Как только это произойдет, информация в конечном наборе данных перераспределяется по объему, создавая узел нижнего уровня 42, дополнительно узел 43 и распределяя данные из конечного набора данных 40 в новые временные конечные наборы данных 44 и 45, показанные на схеме фиг. 3. Заполнение базы данных затем продолжается до тех пор, пока конечный набор данных 40 снова не заполняется полностью. Система вновь пытается перераспределять его содержание по зависимым конечным наборам данных. Это, в свою очередь, может сделать один из них заполненным, в результате чего становится необходимым удалить полный временный конечный набор данных из выхода узла 42 и ввести его в один или несколько следующих узлов и дополнительные конечные наборы данных, как это требуется в данной схеме.

Это может продолжаться до тех пор, пока конечный набор данных 50 не будет установлен как выход узла 46. В это время расстояние между конечными наборами данных 40 и 50 соответствует расстоянию О, заданному проектировщиком или пользователем базы данных. При этом осуществляется проверка, чтобы определить, существует ли промежуточный набор данных на отрезке между узлами 41 и 46. Любые конечные наборы данных на этом отрезке удаляются, и их содержание передается в конечный набор данных 50.

Как только конечный набор данных 50 заполнится, может быть создан новый временный конечный набор данных 60 и так далее. Таким образом, становится возможным установить расстояния между конечными наборами данных, которые не находятся на самых нижних уровнях индекса решения, который будет удерживаться в указанном интервале между конечными наборами данных. В устройстве, показанном на фиг. 3, конечные наборы данных 62 и 70 представляют собой самые нижние уровни базы данных, и фактически конечные наборы данных 60, 62, 67 и 70 могут представлять уровни 1, 2 и 3 конечных наборов данных в устройстве, показанном на фиг. 2.

Как и в предыдущем случае, массовое распределение вводов конечных наборов данных приводят к снижению времени обращения к диску по сравнению с записью отдельных групп данных. Кроме того, стоимость ввода данных в устройство, показанное на фиг. 3, снижается дополнительно, поскольку ввод осуществляется в первый найденный конечный набор данных. Каждый ввод от полного конечного набора данных затем передается в соответствующий конечный набор данных нижнего уровня, затем перемещается в следующий полный конечный набор соответствующего нижнего уровня, который определяется графом решения полного конечного набора данных через передаваемый ввод.

При запросе базы данных путь решения для соответствующего ключа должен проходить вправо к конечному набору данных низшего уровня, и каждый конечный набор данных, найденный на этом пути, также должен быть опрошен, поскольку он может содержать данные, соответствующие критерию поискового ключа.

Claims (15)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ организации хранения данных в базе данных (2), в котором конечные наборы данных (20, 24, 26, 28, 30, 40, 50, 60) для базы данных размещаются в иерархической структуре и в котором конечные наборы данных размещаются таким образом, что элементы данных вводятся в выбранный конечный набор данных на первом уровне значимости (уровень 1) до тех пор, пока число элементов данных не достигнет пороговой величины для выбранного конечного набора данных, и затем содержание выбранного конечного набора данных перемещается в подчиненные конечные наборы данных, освобождая, таким образом, выбранный конечный набор данных, и в котором при последующем перемещении содержания из выбранного конечного набора данных в данный конечный набор данных могут быть введены дополнительные данные.
2. 2. Способ по п.1, отличающийся тем, что каждый конечный набор (20, 24, 26, 28, 30) имеет нуль, один или два ближайших зависимых конечных набора данных.
3. 3. Способ по п.1 или 2, отличающийся тем, что во время перемещения данные в выбранном конечном наборе данных сравниваются с критерием поиска, чтобы определить, в какой из ближайших подчиненных конечных наборов данных перемещен ввод.
4. 4. Способ по п.3, отличающийся тем, что база данных включает граф решения и критерий поиска как эффективное расширение графа решения.
5. 5. Способ по любому из предыдущих пунктов, отличающийся тем, что иерархическая структура конечных наборов данных представляет собой многоуровневую структуру.
6. 6. Способ по п.5, отличающийся тем, что многоуровневая структура включает Ь уровней для каждого конечного набора данных в пределах от уровня 1 до уровня (Ь-1), имеющего два ближайших зависимых конечных набора данных в пределах от уровня 2 до уровня Ь, соответственно.
7. 7. Способ по п.6, отличающийся тем, что при достижении данным конечным набором данных уровня Ν, где N - целое число от 1 до (Ь-1), когда этот набор имеет предопределенное число вводов, его содержание перемещается в ближайшие конечные наборы данных, непосредственно подчиненные указанному набору.
8. 8. Способ по любому из предыдущих пунктов, отличающийся тем, что конечные наборы данных, имеющие иерархическое значение выше предопределенной величины, при использовании хранятся в быстродействующей памяти.
9. 9. Способ по п. 1, отличающийся тем, что конечные наборы данных (40, 50, 60) распределены через график выбора базы данных.
10. 10. Способ по п.1 или 9, отличающийся тем, что график выбора построен таким образом, что он поддерживает определенное расстояние между конечными наборами данных через большую часть графика выбора.
11. 11. Способ по п.9 или 10, отличающийся тем, что при перемещении данных от конечного набора данных данные передаются в подчиненные конечные наборы данных на основе определенного содержания данных.
12. 12. Способ по любому из пп.1, 9, 10 или 11, отличающийся тем, что содержание конечного набора данных перемещается.
13. 13. База данных, в которой конечные наборы данных базы данных организованы в иерархическую структуру и в которой конечные наборы данных организованы таким образом, что элементы данных вводятся в выбранный конечный набор данных на первом уровне значения до тех пор, пока число элементов данных не достигнет пороговой величины для выбранного конечного набора данных, после чего содержание выбранного конечного набора данных перемещается в подчиненные конечные наборы данных, освобождая, таким образом, выбранный конечный набор данных, и в которой при последующем перемещении содержания из выбранного конечного набора данных в данный конечный набор данных могут быть введены дополнительные данные.
14. 14. База данных по п.13, отличающаяся тем, что конечные наборы данных (40, 50, 60) распределены по всему графику выбора.
15. 15. Программный продукт для процессора для осуществления способа по любому из пп.112.