DE69934288T2

DE69934288T2 - Effiziente Verfahren zum Hashkodieren

Info

Publication number: DE69934288T2
Application number: DE69934288T
Authority: DE
Inventors: Sarvar Montville Patel; Zulfikar Amin Boston Ramzan
Original assignee: Lucent Technologies Inc
Current assignee: Nokia of America Corp
Priority date: 1998-10-20
Filing date: 1999-10-12
Publication date: 2007-06-21
Anticipated expiration: 2019-10-13
Also published as: DE69934288D1; EP0996092B1; EP0996092A3; US7174013B1; AU5360499A; CN1251451A; JP2000122538A; CA2280488A1; EP0996092A2; KR100662934B1; ATE347720T1; KR20000047546A; BR9904714A

Description

Hintergrund der Erfindung
Technisches Gebiet
Die vorliegende Erfindung betrifft die Datenmanipulation und insbesondere eine effiziente Technik zum Repräsentieren langer Ketten von Daten als kürzere Ketten von Daten.
Allgemeiner Stand der Technik
Hashing ist eine Technik zum Repräsentieren größerer Datenlängen als kürzere Datenlängen. Die Techniken sind dergestalt, daß eine relativ kleine Wahrscheinlichkeit besteht, daß zwei verschiedene längere Datenlängen als identische kurze Datenlängen repräsentiert werden. Das Merkmal wird als Wahrscheinlichkeit der Kollision bezeichnet.
Die Wahrscheinlichkeit der Kollision wird durch Gleichung 1 dargestellt, die angibt, wird als die Wahrscheinlichkeit, daß eine an einer Kette x₁ ausgeführte Hashing-Funktion "h" gleich dem Ergebnis einer an einer Kette x₂ ausgeführten Hashing-Funktion "h" ist, kleiner oder gleich
oder ε ist.
Die Anzahl der in der längeren ungehashten Kette enthaltenen Bit beträgt "n" und wird als ein Definitionsbereich bezeichnet. Die Anzahl der Bit in der kürzeren oder gehashten Kette beträgt "l" und wird häufig als der Wertebereich der Hashing-Funktion bezeichnet. Eine Gleichung (1) genügende Hashing-Funktion wird häufig als ε universell bezeichnet.
Eine weitere in der Regel mit Hashing-Funktionen assoziierte Eigenschaft wird durch Gleichung (2) dargestellt, wobei sie angibt, daß die Wahrscheinlichkeit, daß die Differenz zwischen der Ausgabe einer Hashing-Funktion "h" an der Kette x₁ und der Ausgabe einer Hashing-Funktion an der Kette x₂ gleich einer vorgewählten Zahl Δ ist, kleiner oder gleich
oder ε ist. Gleichung (2) genügende Hashing-Funktionen werden in der Regel als Universal-Hash-Funktionen des Typs εΔ bezeichnet.
Bestimmte Hash-Funktionen besitzen auch eine durch Gleichung (3) dargestellte dritte Eigenschaft. Gleichung (3) zeigt, daß die Verbundwahrscheinlichkeit, daß die Ausgabe der Hashing-Funktion "h" für die Eingangskette x₁ gleich einer vorbestimmten Zahl c₁ und die Ausgabe der Hashing-Funktion "h" für die Eingabekette x₂ gleich einer vorbestimmten Zahl c₂ ist, kleiner gleich
oder ε ist. Eine Gleichung (3) genügende Hashing-Funktion wird als ε stark universell bezeichnet. Hashing-Funktionen, die Gleichung (3) genügen, genügen automatisch Gleichung (1) und (2).
Hashing-Funktionen werden in vielen Anwendungen benutzt, eine davon ist die Vereinfachung des Suchens nach Textketten. Bei Verwendung zum Suchen nach Textketten dient die Hashing-Funktion zur Verringerung der Größe der gespeicherten Informationen, und dieselbe Hashing-Funktion wird dann zum Reduzieren der Größe der Suchkriterien verwendet. Die verkürzten Suchkriterien dienen dann zur Suche nach den abgekürzten gespeicherten Informationen, um ein gewünschtes Stück Informationen effizienter zu finden. Nachdem das gewünschte Informationsstück gefunden wurde, kann der ungehashte oder Text voller Länge, der mit dem abgekürzten Text assoziiert ist, bereitgestellt werden.
Hashing-Funktionen werden auch in der drahtlosen Kommunikation für die Nachrichtenauthentifikation benutzt. Eine Nachricht wird authentifiziert, indem man eine Nachrichtenkette zusammen mit einem Tag sendet, das durch Ausführen einer kryptographischen Funktion an der Nachricht berechnet wird. Das Bilden eines Tag einer Nachrichtenkette ist rechnerisch aufwendig. Hash-Funktionen dienen zum Verkürzen der Nachricht auf ein Tag, so daß die kryptographische Verarbeitung, die ausgeführt werden muß, weniger intensiv ist. h(m) = (ma)modp(4)
Techniken, wie zum Beispiel lineares Hashing, wie durch Gleichung (4) dargestellt, und MMH-Hashing, wie durch Gleichung (5) dargestellt, werden nun zur Repräsentation länger Daten- oder Textketten als kürze Ketten benutzt, wenn die Wahrscheinlichkeit, daß zwei verschieden lange Ketten dieselbe kurze Kette produzieren relativ klein ist. Diese Hashing-Funktionen erfordern eine Multiplikation eines Schlüssels, der "w" Wörter lang ist, mit einer "w" Wörter langen Nachricht oder Text, die bzw. der gehasht werden soll. Als Ergebnis sind w² Operationen erforderlich, um ein Hashing einer bestimmten Kette von Daten oder Text auszuführen. Bei großen Daten- oder Textketten mit vielen Wörtern führt dies zu einer rechnerisch intensiven Operation.
Kurzfassung der Erfindung
Die vorliegende Erfindung liefert eine effiziente Hashing-Technik, die
Operationen benutzt, um eine "w" Wörter lange Kette zu hashen, anstelle der w² Operationen des Stands der Technik. Die vorliegende Erfindung erzielt diese Effizienz durch Quadrieren der Summe des Schlüssels und der zu hashenden Kette, anstatt ein Produkt des Schlüssels und der zu hashenden Kette zu bilden.
Bei einer Ausführungsform der Erfindung wird, wie durch Gleichung (6) dargestellt, ein Hashing einer Nachricht "m" ausgeführt, indem man die Nachrichtenkette mit einer Schlüsselkette "a" summiert und dann das Quadrat dieser Summierung bildet. Eine an dem Ergebnis der Quadrierungsoperation ausgeführte modular-"p"-Operation und eine modular-2^l Operation wird an dem Ergebnis der modular-"p"-Operation ausgeführt. In diesem Fall weisen sowohl "m" als auch "a" dieselbe Länge auf, das heißt "n" Bit oder "w" Wörter lang. Es sollte beachtet werden, daß "a" länger als "n" Bit sein kann, aber "n" Bit bevorzugt wird. Der Wert "l" bedeutet die Länge in Bit der verkürzten Kette, die sich aus dem Hashing ergibt, und wird als der Wertebereich bezeichnet. Der Wert "p" wird als die erste Primzahl größer als 2ⁿ ausgewählt, wobei "n" die Anzahl der Bit in der Nachrichtenkette "m" ist. Es sollte beachtet werden, daß Gleichung (6) ein Hashing-Verfahren liefert, das Gleichung (1) und (2) erfüllt, das heißt, das Hashing-Verfahren von Gleichung (6) ist Δ-universell.
Bei der zweiten Ausführungsform der vorliegenden Erfindung wird eine stark universelle Hashing-Methode bereitgestellt. In diesem Fall wird die Nachrichtenkette "m" mit einem Schlüssel "a" summiert und dann die resultierende Summe quadriert. Sowohl die Nachrichtenkette "m" als auch der Schlüssel "a" sind "w" Wörter lang und enthalten insgesamt "n" Bit. Es sollte beachtet werden, daß der Schlüssel "a" mehr als "n" Bit enthalten kann, aber "n" bevorzugt wird. Das Ergebnis der Quadrierungsoperation wird dann mit einem zweiten Schlüssel "b" summiert, der mindestens "n" Bit lang ist. An der Summe des quadrierten Terms und dem Schlüssel "b" wird wie oben mit Bezug auf Gleichung (6) besprochen eine modular-"p"-Operation ausgeführt. An dem Ergebnis der modular-"p"-Operationen wird, wie mit Bezug auf Gleichung (6) beschrieben wurde, eine Modular-2^l-Operation ausgeführt. Die Verwendung dieses Hashing-Verfahrens liefert ein stark universelles Hashing-Verfahren, das Gleichung (1), (2) und (3) erfüllt.
Bei einer weiteren Ausführungsform der vorliegenden Erfindung werden "k" Nachrichten oder Ketten gehasht, so daß eine einzige kürzere Kette produziert wird.
Gleichung (8) zeigt die Hashing-Funktion, wenn "k" Nachrichten, die jeweils "w" Wörter lang sind, gehasht werden, um eine einzige kürze Kette zu bilden. Jede Nachricht m_i wird mit einem Schlüssel a_i summiert, und die resultierende Summe wird quadriert. Das Ergebnis der Quadrierungsoperation für jede Nachricht m_i wird dann über die "k" Nachrichten summiert. An der Gesamtsumme wird eine modular-"p"-Operation ausgeführt, und an dem Ergebnis der modular-"p"-Operation eine modular-2^l-Operation. Die Werte "p" und "l" sind wieder wie oben beschrieben definiert. Das durch Gleichung (8) dargestellte Hashing-Verfahren produziert eine Δ-universelle Hashing-Funktion, die Gleichung (1) und (2) erfüllt.
Kurze Beschreibung der Zeichnung
1 ist ein Flußdiagramm eines Quadrat-Hashing-Verfahrens;
2 ist ein Flußdiagramm eines stark universellen Quadrat-Hashing-Verfahrens; und
3 ist ein Flußdiagramm eines zweiten Δ-universellen Quadrat-Hashing-Verfahrens.
Ausführliche Beschreibung
1 zeigt ein Verfahren zum Ausführen des Quadrat-Hashing-Verfahrens von Gleichung (6). Im Schritt 100 wird eine Eingangskette oder -nachricht "m" eingegeben. Im Schritt 102 wird ein Eingangsschlüssel "a" eingegeben. Die Nachricht oder Kette "m" und der Schlüssel "a" sind jeweils "n" Bit lang und bestehen aus "w" Wörtern. Der Schlüssel "a" ist eine Zufalls- oder Pseudozufallszahl und kann länger als "n" Bit sein, aber "n" Bit sind bevorzugt. Im Schritt 104 wird die Summe "s" der Kette "m" und des Schlüssels "a" gebildet. In Schritt 106 wird die Summe "s" quadriert. Im Schritt 108 wird an dem Ergebnis von Schritt 106 eine modular-"p"-Operation gebildet. "p" ist die nächste Primzahl größer als 2ⁿ; "p" kann jedoch eine größere Primzahl sein, wodurch die Leistung verschlechtert werden kann. Im Schritt 110 wird an dem Ergebnis von Schritt 108 eine modular-2^l-Operation ausgeführt. "l" ist die Anzahl der Bit in der kurzen Ausgangsnachricht oder -kette. Im Schritt 112 wird das Ergebnis der modular-2^l-Operation ausgegeben. Der Prozeß von 1 führt dazu, daß eine Nachricht oder Kette von "n" Bit auf eine Nachricht oder Kette von "l" Bit reduziert wird. Es sollte beachtet werden, daß der mit 1 assoziierte Prozeß eine ε-Δ-universelle Hash-Funktion ausführt, die den Eigenschaften von Gleichung (1) und Gleichung (2) genügt.
2 zeigt ein Verfahren zum Ausführen des durch Gleichung (7) beschriebenen stark universellen Hashing-Verfahrens. Im Schritt 140 wird eine Nachricht oder Kette "m" eingegeben. Im Schritt 142 werden die Schlüssel "a" und "b" angegeben. Die Nachricht "m", der Schlüssel "a" und der Schlüssel "b" sind jeweils "n" Bit lang mit "w" Wörtern. Im Schritt 144 wird die Summe der Nachricht "m" und des Schlüssels "a" gebildet und als Summe "s" gespeichert. Im Schritt 146 wird das Quadrat der Summe "s" als Term "SQ" gespeichert. Im Schritt 148 wird die Summe des Terms "SQ" und des Schlüssels "b" gebildet. Im Schritt 150 wird eine modular-"p"-Operation an dem durch Schritt 148 produzierten Ergebnis ausgeführt. Wiederum ist "p" gleich der nächsten Primzahl größer als 2ⁿ; "p" kann jedoch eine größere Primzahl sein, wodurch sich die Leistung verschlechtern kann. In Schritt 152 wird an dem Ergebnis aus Schritt 150 eine modular-2^l-Operation ausgeführt. "l" ist gleich der Anzahl der Bit in der Kette oder Nachricht, die von diesem Verfahren ausgegeben werden soll. Im Schritt 154 wird die kurze Nachricht oder Kette der Länge "l" ausgegeben. Es sollte beachtet werden, daß das Verfahren von 2 eine Kette oder Nachricht von "n" Bit auf eine Kette oder Nachricht von "l" Bit reduziert hat. Außerdem sollte beachtet werden, daß der Prozeß von 2 eine ε-stark-universelle Hash-Funktion ist, die den Eigenschaften von Gleichung (1), (2) und (3) genügt.
3 zeigt ein Verfahren zur Durchführung des durch Gleichung (8) beschriebenen ε-Δ-universellen Hashing-Verfahrens. Im Schritt 170 wird der Index "i" gleich 1 gesetzt und die variable SUM wird gleich 0 gesetzt. Im Schritt 172 wird der Wert von "k" eingegeben. "k" ist gleich der Anzahl der Ketten oder Nachrichten, die eingegeben werden, um eine einzige verkürzte Nachricht zu produzieren. Im Schritt 174 wird die Nachricht oder Kette m_i abgetrennt und im Schritt 176 wird der Eingangsschlüssel a_i eingegeben. Es sollte beachtet werden, daß die Nachricht oder Kette m_i und der Eingangsschlüssel a_i die gleiche Länge aufweisen und "n" Bit besitzen, wodurch "w" Wörter zusammengesetzt werden. Der Schlüssel "a_i" ist eine Zufalls- oder Pseudozufallszahl und kann länger als "n" Bit sein, aber "n" Bit werden bevorzugt. Vorzugsweise ist a_i eine Zufallszahl. Zufallszahlen können aus vielen Quellen erzeugt werden, wie zum Beispiel Pseudozufallsgeneratoren. Im Schritt 178 wird durch Bilden der Summe der Nachricht m_i und des Schlüssels a_i die Summe s_i gebildet. Im Schritt 180 wird das Quadrat von s_i gleich der Variablen SQ_i gesetzt. Im Schritt 182 wird die Variable SUM gleich der Variablen SUM plus SQ_i gesetzt. Im Schritt 184 wird der Wert von "i" geprüft, um zu bestimmen, ob er gleich dem Wert "k" ist. Wenn er nicht gleich dem Wert "k" ist, wird Schritt 186 ausgeführt, indem der Wert des Index "i" um "l" inkrementiert wird, und dann wird Schritt 174 ausgeführt. Wenn im Schritt 184 bestimmt wird, daß der Wert "i" gleich "k" ist, wird Schritt 188 ausgeführt, indem eine modular-"p"-Operation an dem aktuellen Wert der Variablen SUM ausgeführt wird. Wie bereits besprochen, ist der Wert "p" die nächste Primzahl größer als der Wert 2ⁿ; "p" kann jedoch eine größere Primzahl sein, wodurch sich die Leistung verschlechtern kann. Im Schritt 190 wird an den im Schritt 188 produzierten Ergebnissen eine modular-2^l-Operation ausgeführt. Wieder ist "l" die Anzahl der Bit, aus denen die Ausgangskette oder -nachricht besteht. Im Schritt 192 wird die verkürzte Nachricht oder Kette von "l" Bit ausgegeben. Es sollte beachtet werden, daß der Prozeß von 3 "k" Nachrichten von jeweils "n" Bit auf eine Nachricht von "l" Bit reduziert hat. Außerdem sollte bemerkt werden, daß das Hashing-Verfahren von 3 ein ε-Δ- universelles Hashing-Verfahren ist, das den Eigenschaften von Gleichung (1) und (2) genügt.
Mit Bezug auf 1, 2 und 3 sollte angemerkt werden, daß der Wert "l" in der Regel auf der Basis eines Kompromisses zwischen dem Wunsch einer kurzen Ausgangsnachricht der Länge "l" und dem Wunsch der Minimierung der Wahrscheinlichkeiten von Gleichung (1) und (2) in dem Fall einer ε-stark universellen Hash-Funktion, Gleichung (3) gewählt wird.
Der folgende Abschnitt gibt einen abgekürzten Beweis, der zeigt, daß die offengelegten Quadrierungs-Hash-Funktionen die Eigenschaften für Gleichung (1), (2) und (3) erfüllen.
Theorem 1: Die durch Gleichung (6) beschriebene Hashing-Funktion ist Δ-universell.
Beweis: für alle "m" ≠ "n" ε Z_p und Δ ε Z_p gilt Pxr[hx(m) – hx(n)= Δ] (1) = Pxr[(m + x)2 – (n + x)2 = Δ] (2) = Pxr[(m2 – "n"2 + 2(m – n)x = Δ] (3) = 1/p (4)
Wobei die letzte Ungleichung folgt, da für jedes gegebene "m" ≠ "n" ε Z_p und δ ε Z_p ein einzigartiges x existiert, das die Gleichung m² – "n"² + 2(m – n)x = δ erfüllt.
Theorem 2: Die durch Gleichung (7) beschriebene Hashing-Funktion ist eine stark universelle Familie von Hash-Funktionen.
Beweis: Folgt als unmittelbarer Korollar des folgenden Lemmas, das zeigt, wie man jede beliebige Δ-universelle Familie von Hash-Funktionen in eine stark universelle Familie von Hash-Funktionen umsetzen kann.
Lemma 1: Es sei "h" = {h_x : D → R|xε K}, wobei R eine abische Gruppe und "k" die Menge von Schlüsseln ist, eine Δ-universelle Familie von Hash-Funktionen. Dann ist H' = {h'_xb : D → R|xεK, bεR}, definiert durch h'_x,b (m) = (h_x(m) + b) (wobei die Addition die Operation unter der Gruppe R ist), eine stark universelle Familie von Hash-Funktionen.
Beweis: für alle "m" ≠ "n" ε D und alle a, ß ε R gilt:
Die letzte Gleichung folgt, da h_x eine Δ-universelle Hash-Funktion ist und h_x(m) – h_x(n) jeden beliebigen Wert in R mit gleicher Wahrscheinlichkeit annehmen kann.

Claims

Verfahren zum Erzeugen einer verkürzten Repräsentation einer Ansammlung von Bit, mit den folgenden Schritten: Eingeben der Ansammlung von "n" Bit; Summieren eines Schlüssels mit mindestens "n" Bit mit der Ansammlung von Bit, um eine Summe zu erzeugen; Quadrieren der Summe, um eine quadrierte Summe zu erzeugen; Ausführen einer modular-"p"-Operation an der quadrierten Summe, wobei "p" mindestens so groß wie eine erste Primzahl größer als 2ⁿ ist, um ein modular-"p"-Ergebnis zu erzeugen; Ausführen einer modular-2^l-Operation an dem modular-"p"-Ergebnis, wobei "l" kleiner als "n" ist; und Ausgeben des modular-2^l-Ergebnisses.
Verfahren zum Erzeugen einer verkürzten Repräsentation einer Ansammlung von Bit, mit den folgenden Schritten: Eingeben der Ansammlung von "n" Bit; Summieren eines ersten Schlüssels mit mindestens "n" Bit mit der Ansammlung von Bit, um eine erste Summe zu erzeugen; Quadrieren der ersten Summe, um eine quadrierte Summe zu erzeugen; Summieren der quadrierten Summe mit einem zweiten Schlüssel mit mindestens "n" Bit, um eine zweite Summe zu erzeugen; Ausführen einer modular-"p"-Operation an der quadrierten Summe, wobei "p" mindestens so groß wie eine erste Primzahl größer als 2ⁿ ist, um ein modular-"p"-Ergebnis zu erzeugen; Ausführen einer modular-2^l-Operation an dem modular-"p"-Ergebnis, um ein modular-2^l-Ergebnis zu erzeugen, wobei "l" kleiner als "n" ist; und Ausgeben des modular-2^l-Ergebnisses.
Verfahren zum Erzeugen einer verkürzten Repräsentation einer Ansammlung von Bit, mit den folgenden Schritten: Eingeben der Ansammlung von "n" Bit; Summieren eines Schlüssels mit mindestens "n" Bit mit der Ansammlung von Bit, um eine Summe zu erzeugen; Quadrieren der Summe, um eine quadrierte Summe zu erzeugen; mindestens einmaliges Wiederholen der vorherigen drei Schritte, um eine Vielzahl von quadrierten Summen zu erzeugen, wobei jedesmal, wenn die Schritte wiederholt werden, ein anderer Schlüssel benutzt wird; Summieren der Vielzahl von quadrierten Summen, um eine Summierung zu erzeugen; Ausführen einer modular-"p"-Operation an der Summierung, wobei "p" mindestens so groß wie eine erste Primzahl größer als 2ⁿ ist, um ein modular-"p"-Ergebnis zu erzeugen; Ausführen einer modular-2^l-Operation an dem modular-"p"-Ergebnis, wobei "l" kleiner als "n" ist; und Ausgeben des modular-2^l-Ergebnisses.