EP1941404A2 - Automatisches, computerbasiertes ähnlichkeitsberechnungssystem zur quantifizierung der ähnlichkeit von textausdrücken - Google Patents

Automatisches, computerbasiertes ähnlichkeitsberechnungssystem zur quantifizierung der ähnlichkeit von textausdrücken

Info

Publication number
EP1941404A2
EP1941404A2 EP06818299A EP06818299A EP1941404A2 EP 1941404 A2 EP1941404 A2 EP 1941404A2 EP 06818299 A EP06818299 A EP 06818299A EP 06818299 A EP06818299 A EP 06818299A EP 1941404 A2 EP1941404 A2 EP 1941404A2
Authority
EP
European Patent Office
Prior art keywords
text
similarity
similarity calculation
expressions
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06818299A
Other languages
English (en)
French (fr)
Inventor
Libo Chen
Ulrich Thiel
Peter Fankhauser
Thomas Kamps
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP1941404A2 publication Critical patent/EP1941404A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri

Definitions

  • the present invention is thus applicable in the field of automatic, computer-based structuring of information, in particular in the field of automatic, computer-based thesaurus construction and / or ontology construction.
  • a thesaurus is understood below to mean a set of terms, including a set of relations or similarities between these terms.
  • An automatic thesaurus creation is possible by writing in large documents collections or collections (collection: set of individual text documents) are derived from the common occurrence of words in individual text documents or in individual sections, sentences or sentence parts within the documents described above relations or associative relationships. Those parts of the text or sections which are examined for the occurrence of individual terms are also referred to below as text segments.
  • Such a text segment can therefore be, for example, the entire text document, a section from the document or else a word window which comprises a defined number of consecutive individual words.
  • Such a thesaurus can also be regarded as a (simple) description of an ontology, ie a structured knowledge base.
  • the present invention relates to point 2, ie the calculation of the statistical similarity between pairs of terms.
  • the similarity measure according to the invention may be considered off the shelf similarity weights known in the art, such as cosine similarity weighting or PMI similarity weighting.
  • an essential aspect of the invention is, moreover, also the provision according to the invention of new similarity weights or similarity weight values calculated with the aid of the similarity measure according to the invention, in particular the weighting rel_comb based on the product of several individual weightings which is described in more detail below. This will be described in detail in the following description of the embodiments.
  • FIG. 1 shows a plurality of already known similarity weights, which are also shown below. Use of the similarity measure according to the invention can be calculated.
  • COS_ALLG (t u t 2 ) C ( ' U2) ti means ti or t 2 .
  • f C (ti, t 2> ti the frequency of term ti in a common text segment c of t x and t 2, that in c (tl, t2) (a common text segment of ti and t 2 is a text segment, in which both t x and t 2 occur) and f C (ti), ti is the frequency of the term ti in a text segment c of t ir, ie in c (ti) (a text segment c of ti is a text segment in which ti occurs).
  • conditional probabilities in both directions, or in relation to each of the two terms can be multiplied together, yielding the common conditional probability as follows :
  • the Occurrence Context is one of the best-known context types used.
  • the occurrence context of a (target) expression t is defined as the set (resp. the number) of text segments containing the expression t (this does not take into account the content or expressions that are otherwise contained in the text segments).
  • an entire document or also a part of a document can be used as a text segment, for example.
  • paragraphs, whole sentences or even text windows with a fixed window width ie text sections containing a precisely defined number of expressions
  • Large text segments (especially whole documents) represent comparatively unspecific contexts, which as a rule can not provide a reliable basis for decisions about relations between expressions. Accordingly, it is advantageous to use rather small text segments.
  • Both types of windows described above are dynamic or may be slid over a document and may overlap.
  • the advantageous term of the common context used in the present embodiment may now be used to compute two types of conditional probabilities as follows (these conditional probabilities may then be used either directly themselves or as a combination to provide similarity weighting values agw (ti, t 2 ) for A) a first conditional probability, which normalizes the similarity measure occ_con (ti, t 2 ) described above with the aid of the occurrence context and b) a second conditional probability, which the similarity measure occ_con (t ⁇ , t 2 ) with Help of the common content context normalized.
  • occ_con is an occurrence context from one perspective - whereby the total frequency of the common occurrence of the two expressions tx and t 2 is taken into account; from the other perspective a content context - taking into account the total number of different context expressions. From the different perspectives, occ_con (ti, t 2 ) can be normalized differently: 1. From the perspective of the occurrence context, occ_con is normalized by the individual occurrence contexts, ie occ (ti) and occ (t 2 ):
  • occ_con is normalized by the individual content contexts, ie COnIt 1 ) and con (t 2 ):
  • a relationship of interest actually exists between a certain pair of expressions (tu, t i2 ) is evaluated by automatic comparison with a thesaurus created manually for the document collection under consideration: a target expression pair relationship has then correctly been classified as interesting by a considered method, when defined as an interesting relationship within the manually created thesaurus (gold standard).
  • Figure 2 now shows the results for various types of methods of the PMI similarity weighting method known in the art.
  • the different types differ in their calculation type for the individual frequencies f.
  • the common context was determined with the aid of the occ (t lr t 2 ) dimension of the state of the art. calculates (the individual contexts were calculated as in the procedure described in the first line).
  • the size of the text segments has been set to 41 in the types of procedures described in the first three lines of Figure 2A (20 expressions to the left and to the right of each central target expression).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur automatischen, computerbasierten Ähnlichkeitsgewichtung von Textausdrücken. Das erfindungsgemäße System bzw. Verfahren weist eine Dokumenten-Datenbankeinheit (1), eine Kandidatenausdruck-Speichereinheit (2), eine Ähnlichkeitsgewichtswert-Berechnungseinheit (3) auf und ist dadurch gekennzeichnet ,. dass die Ähnlichkeitsgewichtswerte agw(t1, t2) für die einzelnen Paare von Ausdrücken auf Basis eines Ähnlichkeitsmaßes occ_con(t1, t2) berechenbar sind, welches sowohl die Gesamthäufigkeit des gemeinsamen Vorkommens der beiden Ausdrücke eines Ausdruckspaares innerhalb ein und desselben Textsegmentes in einer Menge von mehreren Text Segmenten, als auch die Gesamtzahl unterschiedlicher Kontextausdrücke in dieser Menge von Textsegmenten berücksichtigt.

Description

Automatisches, computerbasiertes Ähnlichkeitsberech- nungssystem zur Quantifizierung der Ähnlichkeit von
Textausdrücken
Die vorliegende Erfindung bezieht sich auf ein automatisches, computerbasiertes Ähnlichkeitsberechnungs- system und ein entsprechendes Ähnlichkeitsberech- nungsverfahren, mit dem Textausdrücke (nachfolgend vereinfacht: Ausdrücke), welche aus einem oder einer Mehrzahl von Textdokumenten, welche in digitaler Form gespeichert sind, stammen, paarweise hinsichtlich ihrer semantischen Ähnlichkeit untersuchbar sind.
Die vorliegende Erfindung ist somit auf dem Gebiet der automatischen, computerbasierten Strukturierung von Informationen, insbesondere im Bereich der automatischen, computerbasierten Thesauruskonstruktion und/oder Ontologiekonstruktion einsetzbar.
Im folgenden werden zunächst einige Begriffsdefiniti- onen für nachfolgend verwendete Begriffe eingeführt. Weitere Begriffsdefinitionen werden, sofern notwendig, an den entsprechenden Stellen in der nachfolgenden Beschreibung eingeführt.
So ist zunächst unter dem Begriff des Ausdrucks (synonym dazu werden verwendet: Term oder Begriff) bzw. Textausdrucks eine Folge aus einzelnen Zeichen zu verstehen, welche insgesamt ein Wort oder mehrere Wörter umfasst (Einwortausdruck oder Mehrwortausdruck aus Text) . Ein Wort ist hierbei eine beidseitig durch Leerzeichen oder Satzzeichen begrenzte Zeichenfolge. Für ein Paar bzw. zwei solche Ausdrücke lässt sich eine Ähnlichkeit bestimmen. Unter Ähnlichkeit wird hier eine gegebene semantische Beziehung (Semantik: Bedeutungsinhalt eines natürlichsprachlichen Textes) verstanden. Eine solche Ähnlichkeit zwischen zwei Begriffen bzw. Ausdrücken lässt sich durch statistische Methoden quantifizieren (Berechnung der Ähnlichkeit zwischen zwei Ausdrücken) . Unter Ähnlichkeit wird somit nachfolgend auch eine die semantische Beziehung beschreibende statistische Maßzahl, welche nachfolgend auch als Ähnlichkeitsgewichtswert (engl.: similarity measure) bezeichnet wird, verstanden. Die nachfolgend als Ähnlichkeitsgewichtswert bezeichnete Größe wird in der Literatur auch als Ähnlichkeitsmaß bezeichnet. Synonym zum Begriff der Ähnlichkeit wird der Begriff der Relation oder der (assoziativen) Beziehung zwischen Ausdrücken verwendet.
Unter einem Thesaurus wird nachfolgend eine Menge von Ausdrücken bzw. Termen samt einer Menge von Relationen bzw. Ähnlichkeiten zwischen diesen Ausdrücken verstanden. Hierbei existieren manuell und automatisch erstellte Thesauri . Eine automatische Thesauruserstellung ist möglich, indem in großen Dokumen- tensammlungen bzw. Kollektionen (Kollektion: Menge von einzelnen Textdokumenten) aus dem gemeinsamen Auftreten von Wörtern in einzelnen Textdokumenten bzw. in einzelnen Abschnitten, Sätzen oder Satzteilen innerhalb der Dokumente vorstehend beschriebene Relationen oder assoziative Beziehungen abgeleitet werden. Diejenigen Textteile bzw. Abschnitte, welche auf das Auftreten von einzelnen Termen hin untersucht werden, werden nachfolgend auch als TextSegmente bezeichnet. Bei einem solchen Textsegment kann es sich also beispielsweise um das gesamte Textdokument, um einen Abschnitt aus dem Dokument oder auch um ein Wortfenster, welches eine definierte Anzahl aufeinander folgender Einzelworte umfasst, handeln. Ein solcher Thesaurus kann auch als (einfache) Beschreibung einer Ontologie, also einer strukturierten Wissensbasis angesehen werden.
Der Prozess der automatischen Thesauruskonstruktion kann in drei Phasen eingeteilt werden:
1. Konstruktion des Vokabulars bzw. Auswahl der Ausdrücke .
2. Berechnung der statistischen Ähnlichkeit zwischen Ausdruckspaaren des ausgewählten Vokabulars .
3. Organisation bzw. Strukturierung des Vokabulars
(Clustering) .
Die vorliegende Erfindung betrifft hierbei Punkt 2., also die Berechnung der statistischen Ähnlichkeit zwischen Termpaaren.
Insbesondere für die Auswahl des Vokabulars, aber auch für die Bewertung des Vorkommens oder Nicht- Vorkommens eines Ausdrucks innerhalb eines Textsegments ist es sinnvoll, die einzelnen Textdokumente der Kollektion einer Vorverarbeitung zu unterziehen (Normalisierung) : Die Normalisierung der Ausdrücke umfasst hierbei im wesentlichen zwei Teile, die Stoppworteliminierung und die Grundformreduktion. Durch die Stoppworteliminierung werden im wesentlichen folgende Ausdrücke aus den Textdokumenten entfernt: Adjektive und Adverbien, Präpositionen und Artikel, Zahlen und sehr allgemeine Wörter (beispielsweise „und" oder „oder") . Gegebenenfalls können auch Eigennamen entfernt werden. Bei einer Wortstammreduk- tion werden einzelnen Ausdrücke bzw. Wörter auf ihre Wortstämme reduziert . Hierdurch werden Derivationen (Bildungen neuer Wörter aus einem Ursprungswort) und Flexionen (Deklination oder Konjugation eines Wortes) unter dem Wortstamm zusammengefasst . Nachfolgend wird der Begriff der WortStammreduktion synonym zum Begriff der Grundformreduktion, d.h. der Entfernung von Flexionsendungen, verwendet (eine Reduktion verschiedener Derivationen wird somit nicht vorgenommen bzw. betrachtet) .
Die statistische Ähnlichkeitsbestimmung zwischen jeweils zwei Ausdrücken bzw. Ausdruckspaaren ist ein Hauptpunkt bei der automatischen Erstellung von Thesauri. Daher existieren bereits entsprechende Ansätze im Stand der Technik. Eine erste Gruppe von Ansätzen, nachfolgend auch als auftretensbasierte Ansätze bezeichnet (engl, occurrence) , basiert hierbei auf der Auftretenshäufigkeit von Ausdrücken in Textsegmenten. Diese somit auf dem gemeinsamen Auftreten von zwei Ausdrücken eines Ausdruckspaares in einem Textsegment basierten Ansätze lassen jedoch den tatsächlichen Inhalt des Kontextes, in dem das Ausdruckspaar auftritt, außer Acht. Der Begriff des Kontextes, also des eine sprachliche Einheit bzw. einen Ausdruck umgebenden Textes (somit also der Sinnzusammenhang, in dem der Ausdruck vorkommt) , wird nachfolgend synonym zu dem Begriff des Textsegmentes (also eines defi- nierten Textabschnittes, in dem das Vorkommen bzw. Auftreten eines Ausdrucks oder eines Ausdruckspaares untersucht wird) verwendet.
Daher versuchen neuere Ansätze, den tatsächlichen Inhalt des Kontextes, in dem sich ein Ausdruck befindet, mit in Betracht zu ziehen. Unter Inhalt (engl. content) bzw. Inhaltsumgebung eines Ausdrucks wird nachfolgend die Menge bzw. Anzahl derjenigen Ausdrücke verstanden, welche gemeinsam mit einem bestimmten Ausdruck innerhalb eines Textsegmentes oder eine Menge von Textsegmenten vorkommen. Nachteilig an den inhaltsbasierten Ansätzen des Standes der Technik ist die Tatsache, dass diese nicht zwischen signifikantem bzw. wesentlichem und störendem bzw. unwesentlichem Inhalt unterscheiden können. Auf diese genannten Nachteile des Standes der Technik wird in der nachfolgenden Beschreibung noch näher eingegangen.
Die vorbeschriebenen Nachteile des Standes der Technik führen dazu, dass bisher die statistische ÄhnlichkeitsbeziehungsbeStimmung für Ausdruckspaare, also die Berechnung entsprechender Ähnlichkeitsgewichtswerte lediglich unbefriedigend gelöst ist: So wird in einer nicht unerheblichen Zahl von Fällen einem Paar von Ausdrücken, zwischen denen eine semantische Ähnlichkeit besteht, fälschlicherweise dennoch ein geringer Ähnlichkeitsgewichtswert zugewiesen und umgekehrt Ausdruckspaaren, zwischen denen lediglich eine sehr entfernte oder gar keine semantische Ähnlichkeit besteht, fälschlicherweise ein zu hoher Ähnlichkeitsgewichtswert zugewiesen .
Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zur Verfügung zu stellen, mit denen die Berechnung von Ähnlichkeitsge- wichtswerten für Paare von Ausdrücken verbessert durchführbar ist, mit denen die für Ausdruckspaare statistisch bestimmten Ähnlichkeitsgewichtswerte somit die tatsächliche Ähnlichkeit des Bedeutungsinhaltes zweier Ausdrücke eines Ausdruckspaares besser wiederspiegeln .
Diese Aufgabe wird durch ein Ähnlichkeitsberechnungs- system gemäß Anspruch 1 sowie ein Ähnlichkeitsberech- nungsverfahren gemäß Anspruch 31 gelöst. Vorteilhafte Ausgestaltungsformen des erfindungsgemäßen Ähnlich- keitsberechnungssystems sowie des entsprechenden Berechnungsverfahrens sind in den jeweiligen abhängigen Ansprüchen beschrieben.
Die erfindungsgemäße Aufgabe wird dadurch gelöst, dass ein verbessertes Ähnlichkeitsmaß occ_con(t1( t2) für die Ähnlichkeit zweier Ausdrücke ti und t2 (Ausdruckspaar (ti, t2) ) zur Verfügung gestellt wird, welches sowohl das gemeinsame Vorkommen der beiden Ausdrücke innerhalb von Textsegmenten, als auch die Anzahl unterschiedlicher Kontextausdrücke in den Textsegmenten berücksichtigt (Kontextausdrücke sind Ausdrücke, welche in mindestens einem Textsegment gemeinsam mit ti und in mindestens einem weiteren Textsegment gemeinsam mit t2 vorkommen, jedoch weder tx noch t2 entsprechen bzw. gleichen) . Das erfindungsgemäße, den Auftretens- und den Inhaltskontext kombinierende Ähnlichkeitsmaß occ_con (occ steht für englisch occurrence = Auftreten, con für englisch con- tent = Inhalt) wird dann dazu verwendet, für Ausdruckspaare Ähnlichkeitsgewichtswerte agw(ti, t2) zu berechnen.
Wie nachfolgend noch näher beschrieben wird, kann das erfindungsgemäße Ähnlichkeitsmaß für aus dem Stand der Technik bekannte Ähnlichkeitsgewichtungen, wie beispielsweise die Cosinus-Ähnlichkeitsgewichtung oder die PMI-Ähnlichkeitsgewichtung eingesetzt werden. Wesentlicher Aspekt der Erfindung ist jedoch da- rüberhinaus auch die erfindungsgemäße Zurverfügungstellung von neuen, mit Hilfe des erfindungsgemäßen Ähnlichkeitsmaßes berechneten Ähnlichkeitsgewichtungen bzw. Ähnlichkeitsgewichtswerten, insbesondere die nachfolgend noch näher beschriebene, auf dem Produkt mehrerer Einzelgewichtungen basierende Gewichtung rel_comb. Dies wird in der nachfolgenden Beschreibung der Ausführungsbeispiele noch ausführlich dargestellt .
Das erfindungsgemäße Ähnlichkeitsmaß und die erfindungsgemäßen Ähnlichkeitsgewichtswerte bzw. das erfindungsgemäße Ähnlichkeitsberechnungssystem / -verfahren weist gegenüber dem Stand der Technik deutliche Vorteile auf: So zeigen Experimente, dass der beste der mit Hilfe des erfindungsgemäßen Ähnlichkeitsmaßes berechneten erfindungsgemäßen Ähnlichkeitsgewichtswerte im Vergleich zu dokumentenbasier- ten Auftretensansätzen des Standes der Technik ein hinsichtlich des F-Maßes um 70% verbessertes Ergebnis aufweist .
Ein automatisches, computerbasiertes Ähnlichkeitsberechnungssystem bzw. ein entsprechendes Ähnlichkeits- berechnungsverfahren kann, wie in dem nachfolgenden Beispiel ausführlich beschrieben, ausgeführt sein oder verwendet werden.
Es zeigt
Figur 1 mehrere bereits bekannte Ähnlichkeitsgewichtungen, welche ebenfalls unter Ver- wendung des erfindungsgemäßen Ähnlichkeitsmaßes berechenbar sind.
Figur 2 die bereits bekannte Ähnlichkeitsgewich- tung PMI, wie sie auf herkömmliche Art und mit dem erfindungsgemäßen Ähnlichkeitsmaß berechnet werden kann, im Vergleich.
Figur 3 einen Vergleich mehrerer erfindungsgemäßer Ähnlichkeitsgewichtungen, welche auf Basis des erfindungsgemäßen Ähnlichkeitsmaßes berechnet wurden im Vergleich untereinander und im Vergleich zu ohne das erfindungsgemäße Ähnlichkeitsmaß berechneten Ähnlichkeitsgewichtungen.
Figur 4 zeigt schematisch den Aufbau eines erfindungsgemäßen Ähnlichkeitsberechnungssys- tems .
Die nachfolgende Beschreibung des Ausführungsbeispiels gliedert sich grob in zwei Abschnitte. Zunächst werden die grundlegenden Ansätze aus dem Stand der Technik und die bereits aus dem Stand der Technik bekannten Ähnlichkeitsgewichtungen sowie die damit verbundenen Nachteile dargestellt. Im darauf folgenden zweiten Abschnitt wird beschrieben, wie das erfindungsgemäße Ähnlichkeitsmaß occ_con(ti, t2) berechnet wird und wie daraus die erfindungsgemäßen Ähnlichkeitsgewichtswerte bzw. -gewichtungen agw(tx, t2) berechnet werden.
Die Bestimmung von Ähnlichkeiten- bzw. Beziehungen zwischen Ausdrücken, welche auf der statistischen Analyse von Textkollektionen basiert, ist für viele Anwendungen wichtig, insbesondere im Bereich der automatischen Thesauruskonstruktion oder im Bereich der Informationsauffindung (information retrieval, IR) . All diese Ansätze basieren auf einem bestimmten Begriff (bzw. auf einer bestimmten Idee) eines gemeinsamen Kontextes von Ausdrücken, welcher mittels eines Ähnlichkeitsgewichtswertes quantifiziert wird, der den individuellen Kontext von Ausdrücken mit ihrem gemeinsamen Kontext (also ihr alleiniges Auftreten mit ihrem gemeinsamen Auftreten innerhalb eines Text- segmentes) vergleicht. Ein hoher Ähnlichkeitsgewichtswert zeigt die Existenz einer semantischen Beziehung zwischen zwei Ausdrücken ti und t2 eines Ausdruckspaares (ti, t2) an. Alle bekannten Ähnlichkeitsgewichtswerte lassen sich nur für bestimmte Aufgaben vorteilhaft einsetzen, während sie für andere Aufgaben nicht oder wenig geeignet sind. Die vorliegende Erfindung bezieht sich insbesondere auf die Ableitung eines im Hinblick auf die automatische Thesauruserstellung optimierten Ähnlichkeitsmaßes und die daraus folgende Berechnung von für diese Aufgabe optimierten Ähnlichkeitsgewichtswerten .
Im wesentlichen wird hierbei davon ausgegangen, dass die für eine gegebene Textkollektion wesentlichen Ausdrücke bereits identifiziert sind; die Erfindung beschäftigt sich somit insbesondere mit der optimierten Bestimmung von Ähnlichkeitsgewichtswerten für Ausdruckspaare aus dieser vorgegebenen Menge von Ausdrücken (nachfolgend auch als Menge von Kandidaten- ausdrücken ti bezeichnet) . Die Zusammenstellung der Menge von Kandidatenausdrücken kann hierbei mittels einer Kandidatenausdruck-Auswahleinheit erfolgen, welche beispielsweise auf Basis von in der nachfolgend genannten Veröffentlichung dargestellten Auswahlalgorithmen basiert: L. Chen, U. Thiel, M. L'Abbate „Automatische Thesauruserstellung und Query Expansion in einer E-Commerce-Anwendung", Proceedings 8. Internationales Symposium für Informationswissenschaft, 2002, S. 181-199 (nachfolgend: Referenz 1).
Nachfolgend wird nun zunächst ein Überblick über Ähn- lichkeitsgewichtungen gemäß dem Stand der Technik gegeben. Dem schließt sich die Diskussion der beiden wesentlichen, aus dem Stand der Technik bekannten Begriffe des gemeinsamen Kontexts an. Hieran schließt sich eine Beschreibung dieser beiden vorbekannten Begriffe des gemeinsamen Kontexts im Formalismus der bedingten Wahrscheinlichkeiten an,- letzteres dient insbesondere dazu, die Ableitung der vorteilhaften erfindungsgemäßen Ähnlichkeitsgewichtswerte agw(ti, t2) auf Basis des erfindungsgemäßen Ähnlichkeitsmaßes occ_con(t1; t2) vorzubereiten. Letztere Ableitung wird im darauffolgenden Abschnitt ausführlich dargestellt, welcher sich zunächst mit der Einführung eines neuen, erfindungsgemäßen Begriffs des gemeinsamen Kontexts, welcher unmittelbar zum erfindungsgemäßen Ähnlichkeitsmaß führt, beschäftigt, um sodann die daraus folgenden erfindungsgemäßen Ahnlichkeitsge- wichtungen, insbesondere in Form von kombinierten Ähnlichkeitsgewichtungen zu beschreiben. Dem schließt sich schlussendlich ein Abschnitt an, welcher die Vorteile der erfindungsgemäßen kombinierten Ähnlichkeitsgewichtungen im Vergleich zu den Ähnlichkeitsgewichtungen des Standes der Technik aufzeigt. Letzteres geschieht durch Vergleich der automatisch bestimmten Beziehungen bzw. Ähnlichkeitsgewichtungen mit einem Goldstandard-Thesaurus . Statistische Ähnlichkeitsquantifizierung nach dem Stand der Technik
a) Ähnlichkeitsgewichtungen:
Semantische Ähnlichkeitsbeziehungen zwischen zwei Ausdrücken oder Begriffen basieren gewöhnlich auf gemeinsamen Eigenschaften der Begriffe. Die statistische Quantifizierung der Ähnlichkeitsbeziehungen nutzt dieses Prinzip, indem der Kontext, also der umgebende Text eines Ausdruck bzw. der Zusammenhang, in dem der Ausdruck innerhalb einer Textkollektion bzw. eines Text Korpusses auftritt als Eigenschaft betrachtet wird. Der Kontext eines (einzelnen) Ausdrucks kann als die Menge aller Textsegmente (bzw. deren Anzahl) definiert werden, in welchen der Ausdruck individuell vorkommt. Der gemeinsame Kontext zweier Ausdrücke kann dann als die Menge aller Text- segmente (bzw. deren Anzahl) definiert werden, in welchen die beiden Ausdrücke zusammen (d.h. innerhalb ein und desselben Textsegmentes) auftreten. Die vorgenannten beiden Definitionen beziehen sich auf diejenigen Ansätze des Standes der Technik, welche auf- tretensbasiert arbeiten bzw. eine Analyse des gemeinsamen Auftretens von Termen durchführen. Der Inhalt der einzelnen Textsegmente wird hierbei nicht berücksichtigt. Im Gegensatz hierzu verwenden die inhaltsbasierten Ansätze des Standes der Technik , wie bereits beschrieben, den Inhalt (d.h. die anderen Ausdrücke innerhalb der Textsegmente) , welcher um die zu untersuchenden Ausdrücke herum innerhalb der Textsegmente auftritt. Bei den letzteren Ansätzen ist der gemeinsame Kontext durch die Schnittmenge (bzw. durch die entsprechende Anzahl von Ausdrücken innerhalb dieser Schnittmenge) von Ausdrücken gegeben, die (bezogen auf eine Menge zu untersuchender Textsegmente) sowohl mindestens einmal gemeinsam mit dem ersten Ausdruck ti des Ausdruckspaares (ti, t2) innerhalb eines Textsegmentes auftreten, als auch mindestens einmal mit dem zweiten Ausdruck t2 des Ausdruckspaares gemeinsam in einem Textsegment auftreten. Nachfolgend wird die erste Definition des Kontexts als Auftretenskontext und die zweite Definition des Kontexts als Inhaltskontext bezeichnet .
Aus dem Stand der Technik sind mehrere Ähnlichkeits- gewichtungen zur Quantifizierung der Ähnlichkeit von Ausdruckspaaren bekannt, so z.B. der Cosinus- Koeffizient COS, der sog. „Wurfel" -Koeffizient (engl.: dice) DICE (L. R. Dice „Measures of the Amount of Ecologic Association between Species", J. of Eco- logy, 26, pp. 297-302), der JACCARD-Koeffizient JAC (siehe z.B. Van Rijsbergen „Information Retrieval", 2nd Edition, 1979) oder die punktweise gemeinsame Information (engl.: pointwise mutual information) PMI (siehe K. Church et al . : „Word Association Norms, Mutual Information and Lexicography" , Computational Linguistics, 16.1, 22-29, 1990). All diese Ähnlichkeitsgewichtswerte für Ausdruckspaare (ti, t2) können formal über vier mögliche Kombinationen dargestellt werden, was üblicherweise in einer Eventualfalltabelle, wie sie in Figur IA gezeigt ist, geschieht. Hierbei beschreiben ti und -iti das Vorhandensein bzw. das Nicht-Vorhandensein des Ausdrucks ti (i=l,2) in einem Kontext. fti,t2 bezeichnet die Häufigkeit derjenigen Kontexte bzw. Textsegmente, in denen beide Ausdrücke ti und t2 gemeinsam auftreten. f-,ti,t2 und fti,-.t2 bezeichnen die Häufigkeit von Kontexten bzw. Textsegmenten, in welchen einer der beiden Ausdrücke, nicht jedoch der andere auftritt. Schließlich bezeichnet f-.ti.-it2 die Häufigkeit der Kontexte bzw. Textsegmente, in denen keiner der beiden Ausdrücke auftritt. N gibt die Anzahl der insgesamt in die Betrachtung einbezogenen Textsegmente an (N=fti+f-,ti=ft2+f-.t2) • Werden beispielsweise vollständige Sätze als Textsegmente gewählt und enthält die betrachtete Dokumentenkollektion 105 verschiedene Sätze, so bedeutet für den Begriff ti=„ Katze" der Wert fti=10, dass der Begriff „Katze" in zehn Textsegmenten bzw. Sätzen der 105 Sätze vorkommt. f-,ti ist dann 9990. Zusammen mit t2=„Hund" mit ft2=20 bedeutet dann beispielsweise fti,t2=3, dass ti und t2 des Ausdruckspaars (ti, t2) = („Katze", „Hund") in drei dieser 105 Sätzen innerhalb des jeweiligen Satzes gemeinsam vorkommen.
Figur IB zeigt nun, wie die COS-, DICE-, JAC- und PMI-Koeffizienten aus diesen Häufigkeiten berechnet werden. Selbstverständlich ergibt hierbei die Häufigkeit fti,t2/ welche das gemeinsame Auftreten der beiden Ausdrücke innerhalb ein und desselben Textsegmentes beschreibt, den wichtigsten Anteil der dargestellten Ähnlichkeitsgewichtungen.
Die ersten drei der in Figur IB gezeigten Ähnlichkeitsgewichtungen (also COS, DICE und JAC) können hinsichtlich der verwendeten Häufigkeiten f auch dahingehend verallgemeinert werden, dass diese Häufigkeiten nicht nur die reine Anzahl von Textsegmenten innerhalb derer ein Ausdruck auftritt, beschreiben, sondern vielmehr für jedes Textsegment auch die Häufigkeit, mit der ein Ausdruck innerhalb des Textsegments auftritt. So lässt sich z.B. der COS- Koeffizient wie folgt verallgemeinern:
COS _ ALLG(tu t2) = C('U2) ti bedeutet hierbei ti oder t2. Im Fall des Auftre- tenskontext beschreibt fC(ti,t2>,ti die Häufigkeit des Terms ti in einem gemeinsamen Textsegment c von tx und t2, also in c(tl,t2) (ein gemeinsames Textsegment von ti und t2 ist ein Textsegment, in dem sowohl tx als auch t2 vorkommen) und fC(ti),ti die Häufigkeit des Terms ti in einem Textsegment c von tir also in c(ti) (ein Textsegment c von ti ist ein Textsegment, in dem ti vorkommt) .
Im Fall des Inhaltskontext bezeichnet c(tl,t2) einen Ausdruck c, der mit ti in mindestens einem Textsegment vorkommt, und auch mit t2 in mindestens einem (weiteren) Textsegment vorkommt. fC(ti,t2),ti beschreibt die gesamte Häufigkeit des Ausdrucks c(tl,t2) in allen gemeinsamen Textsegmenten von c(tl,t2) und ti . c(ti) bezeichnet einen Ausdruck c, der mit ti in mindestens einem Textsegment gemeinsam vorkommt. fC(ti),ti beschreibt die gesamte Häufigkeit des Ausdrucks c(ti) in allen gemeinsamen Textsegmenten von c(ti) und ti .
COS_ALLG(t!, t2) beschreibt somit die Cosinus-Distanz zwischen den beiden Ausdrücken tλ und t2 in verallgemeinerter Form.
b) Bedingtes Wahrscheinlichkeitsmodell:
Nachfolgend wird ein bedingtes Wahrscheinlichkeitsmodell beschrieben, welches auf die verschiedenen Begriffe von individuellem Kontext und gemeinsamem Kontext (Auftretenskontext und Inhaltskontext gemäß dem Stand der Technik sowie nachfolgend noch beschriebener erfindungsgemäßer Kombinationskontext) angewandt werden kann.
Die Idee hinter diesem Ansatz ist, dass die Stärke der Beziehung zwischen zwei Ausdrücken davon abhängt, wie stark ein Ausdruck den anderen bedingt oder, allgemeiner ausgedrückt, wie wahrscheinlich der individuelle Kontext eines Ausdrucks ti eines Ausdruckpaares den gemeinsamen Kontext (also das Auftreten beider Ausdrücke tλ und t2 des Paares) bedingt. Dies kann über die bedingte Wahrscheinlichkeit P(t1|t2) erfasst werden, also die Wahrscheinlichkeit, dass der Ausdruck tx auftritt, unter der Bedingung des Ausdrucks t2 (d.h. unter der Bedingung, dass der Ausdruck t2 im betrachteten Textsegment bereits vorkommt) . Diese bedingte Wahrscheinlichkeit P(t1|t2) kann wie üblich über die Wahrscheinlichkeit P(tχ,t2) für den gemeinsamen Kontext von tx und t2 (also die Wahrscheinlichkeit, dass tx und t2 gemeinsam in einem Textsegment auftreten) und die Wahrscheinlichkeit P(t2) für den Kontext von t2 mit oder ohne tλ (also dass t2 innerhalb des betrachteten Textsegments auftritt) berechnet werden:
1 2 P(h)
Um zu bestimmen, wie stark sich die beiden Ausdrücke eines Ausdruckspaares (ti,t2) bedingen, können dann die bedingten Wahrscheinlichkeiten in beide Richtungen bzw. in Bezug auf jeden der beiden Ausdrücke miteinander multipliziert werden, wodurch sich die gemeinsame bedingte Wahrscheinlichkeit wie folgt ergibt:
c) Auftretenskontext des Standes der Technik:
Der Auftretenskontext ist einer der bekanntesten verwendeten Kontexttypen. Der Auftretenskontext eines (Ziel-) Ausdrucks t ist definiert als die Menge (bzw. die Anzahl) von TextSegmenten, welche den Ausdruck t enthalten (hierbei wird der Inhalt bzw. die Ausdrücke, die sonst noch in den Textsegmenten enthalten sind, nicht berücksichtigt) . Wie bereits vorher beschrieben, kann als Textsegment beispielsweise ein gesamtes Dokument oder auch ein Teil eines Dokuments verwendet werden. In letzterem Falle können als Textsegmente beispielsweise Absätze, ganze Sätze oder auch Textfenster mit einer festen Fensterbreite (also Textabschnitte, welche eine genau definierte Anzahl von Ausdrücken enthalten) verwendet werden. Große Textsegmente (insbesondere ganze Dokumente) stellen hierbei vergleichsweise unspezifische Kontexte dar, welche in der Regel keine zuverlässige Basis für Entscheidungen über Beziehungen zwischen Ausdrücken liefern können. Demgemäß ist es vorteilhaft, eher kleine Textsegmente zu verwenden.
Hierbei wird vorteilhafterweise zwischen zwei Arten von Fenstern bzw. TextSegmenten unterschieden: Fenster für einen Zielterm bzw. Zielausdruck t (nachfolgend auch bezeichnet als: Textsegment | teTextSegment) und Fenster für zwei Zielterme ti,t2 (nachfolgend auch bezeichnet als: Textsegment | tx, t2e Textsegment ). Die Einheit der Distanz oder auch der Position eines solchen Textfensters ist dann immer ein einzelner Ausdruck, welcher, wie bereits vorstehend definiert, aus einem Wort oder auch aus mehreren Wörtern bestehen kann.
Im vorliegenden Ausführungsbeispiel werden Textsegmente verwendet, welche eine definierte Anzahl von Ausdrücken nach links und nach rechts ausgehend von einem Zielausdruck umfassen. Die definierte Anzahl wird hierbei vorteilhafterweise auf etwa 20 gesetzt, so dass sich insgesamt bei einem Wert von genau 20 Ausdrücken eine Fensterbreite von 41 Ausdrücken ergibt. Beim vorstehend beschriebenen Fenster für einen Zielausdruck t gilt somit, dass sich ein Fenster für einen Zielausdruck t immer auf eine Position des Zielausdrucks t in einem Dokument bezieht und dass das Fenster von t in einer bestimmten Position n Ausdrücke nach links und n Ausdrücke nach rechts von dieser Position alle Ausdrücke umfasst (hierbei ist darauf zu achten, dass auf beiden Seiten bzw. an beiden Fensterenden die Dokumentgrenze nicht überschritten wird) .
Der Auftretenskontext für einen Ausdruck t ist nun wie folgt definiert:
occ(t) - {Textsegmert 1 1 e Textsegmert)
occ (t) beschreibt somit die Menge all derjeniger Textsegmente für die gilt, dass der Ausdruck t in dem jeweils betrachteten Textsegment vorkommt (genauer gesagt beschreibt occ(t) die Anzahl dieser Textsegmente) . Die Wahrscheinlichkeit dafür, dass ein Ausdruck t in einem Textsegment auftritt, kann damit aus der relativen Anzahl solcher Textsegmente abgeschätzt werden :
Hierbei beschreibt N die Anzahl aller Textsegmente in der Textkollektion. |occ(t) | bezeichnet für die Menge occ (t) ihre Kardinalzahl bzw. Kardinalität, also die Anzahl der Elemente der Menge. Nachfolgend wird für diese Anzahl bzw. die Kardinalzahl sowohl der Ausdruck |occ(t) I als auch vereinfacht der Ausdruck occ (t) verwendet (dies gilt ebenso für die anderen Kardinalia, wie z.B. | occ_con ( ti, t2) |). Dabei ergibt sich aus dem jeweiligen Sinnzusammenhang, ob mit z.B. occ (t) die Menge selbst oder in vereinfachter Schreibweise deren Kardinalzahl gemeint ist.
Der gemeinsame Kontext von zwei Ausdrücken ti und t2 kann entsprechend definiert werden als die Menge (genauer gesagt die Anzahl) derjenigen Textsegmente, in denen t± und t2 beide gemeinsam auftreten:
occ(t] tt2) = {Textsegment \ t{ ,t2 e Textsegment}
Das hierbei für die beiden Zielausdrücke tx und t2 verwendete Fenster bezieht sich immer auf die Positionen von beiden Zieltermen pos(ti) und pos(t2), wobei die Distanz der beiden Zielterme maximal n Terme bzw. Ausdrücke beträgt, d.h. es gilt:
|pos (ti) -pos (t2) I ≤ n. Gilt somit ohne Beschränkung der Allgemeinheit die Annahme pos(t2) > pos (ti), so erstreckt sich ein Fenster für die beiden Terme ti und t2 um n Ausdrücke nach links von pos(t2) und um n Terme nach rechts von pos(tx) .
Beide vorherbeschriebenen Arten von Fenstern (Fenster für einen Zielterm und Fenster für zwei Zielterme) sind dynamisch bzw. können gleitend über ein Dokument verschoben werden und können sich hierbei auch überlappen.
Wiederum kann die Wahrscheinlichkeit dafür, dass beide Ausdrücke ti und t2 gemeinsam innerhalb eines TextSegmentes bzw. in einem gemeinsamen Kontext auftreten (dies wird nachfolgend auch abgekürzt als „ti mit t2" beschrieben) aus der relativen Anzahl gemeinsamer Textsegmente geschätzt werden:
P{hmittl)J^sψΑ Die gemeinsame bedingte Wahrscheinlichkeit (also die Wahrscheinlichkeit, dass sich die beiden Ausdrücke gegenseitig bedingen) , ergibt sich dann über
occ(t,)|*|σcc(r2)|
Dabei bezeichnet | ... | wieder die Kardinalzahl der entsprechenden Menge.
Entsprechend der vorbesprochenen Cosinusgewichtung lässt sich hieraus eine rein auf der Auftretenshäufigkeit basierende Ähnlichkeitsgewichtung wie folgt gewinnen :
F3) rel_occ(t„t2) =- ^→^
Vl ocφ,)l *l OCc(Z2)I d) Inhaltskontext gemäß dem Stand der Technik:
Der Hauptnachteil der auftretensbasierten Ansätze, wie sie in Abschnitt c) beschrieben wurden, ist, dass sie den Inhalt (also die gemeinsam mit den untersuchten Ausdrücken ti und t2 innerhalb der Textsegmente auftretenden Ausdrücke) nicht mit in Betracht ziehen. Dies führt vor allem zu dem Problem, dass ein mehrfaches gemeinsames Auftreten der untersuchten Ausdrücke ti und t2 im selben InhaltsZusammenhang (z.B. zwei identische Sätze, in denen ti und t2 jeweils vorkommen) die Ähnlichkeitsgewichtung des Paares (t1( t2) fälschlicherweise zu stark erhöht. Ein Ansatz dieses zu vermeiden, ist, die tatsächlich im Kontext zusammen mit ti und/oder t2 auftretenden Ausdrücke in die Betrachtung mit einzubeziehen.
Dies erfolgt mittels der folgenden Definition des In- haltskontextes : con(t) = {Ausdrücke tcon \ tcon mit t}
„tCon mit t" bedeutet hierbei, dass der Ausdruck tcon zusammen mit dem Ausdruck t in demselben Textsegment auftritt, con(t) beschreibt somit die Menge all derjenigen Ausdrücke tCOn (genauer: deren Anzahl), welche in der Menge von betrachteten Textsegmenten jeweils zusammen mit t innerhalb eines TextSegmentes auftreten.
Der gemeinsame Inhaltskontext zweier Ausdrücke tx und t2 kann demgemäß mittels der Schnittmenge der beiden (individuellen) Kontexte der Begriffe ti und t2 definiert werden: con(tλ ,t2 ) = con{tx ) n con{t2 )
= {Ausdrücke tcon \ tcm mit tvtcon mit t2 }
Die beiden vorstehenden Definitionen des individuellen Inhaltskontexts und des gemeinsamen Inhaltskon- texts können wieder dafür verwendet werden, eine gemeinsame bedingte Wahrscheinlichkeit zu definieren:
-PCi mit '«,„ I h mit tcm) * P(t2 mit tcon I tλ mit tcm)
I CO/*/, ) | * | COΛ(/2 ) |
Wird wie bei dieser Definition der Inhalt eines Kon- texts mit berücksichtigt, so können auch Beziehungen bzw. Ähnlichkeiten zwischen Termen tx und t2 festgestellt werden, wenn die beiden Terme Ix und t2 des Paares nicht gemeinsam innerhalb eines Textsegmentes auftreten, jedoch jeweils einzeln zusammen mit denselben Kontextausdrücken auftreten. Somit kann beispielsweise eine Beziehung bzw. eine Ähnlichkeit zwischen den Ausdrücken und t2=„Hund" abge- leitet werden, wenn in der Menge der betrachteten Textsegmente ein Textsegment „Eine Katze läuft einen Hügel hinab" und ein Textsegment „Ein Hund läuft einen Hügel hinab" vorkommen, auch wenn die Ausdrücke „Katze" und „Hund" nicht gemeinsam innerhalb eines Textsegmentes auftreten. Es zeigt sich, dass die reinen inhaltsbasierten Ansätze, wie sie im vorliegenden Abschnitt d) beschrieben werden, insbesondere im Bereich der automatischen Thesauruskonstruktion vergleichsweise schlecht arbeiten. Dies liegt vermutlich an der Tatsache, dass Oberbegriffe (also Begriffe, welche inhaltlich gesehen einen vergleichsweise breiten Umfang haben) zusammen mit einer Vielzahl von Ausdrücken tCOn innerhalb der untersuchten Textsegmente auftreten, wobei die Begriffe tcon jedoch dann keine spezifischen Aspekte solcher Oberbegriffe anzuzeigen vermögen: Sind tx und t2 solche Oberbegriffe, so wird es auch eine Vielzahl von tcon-Ausdrücken geben, welche mindestens einmal zusammen mit dem ersten Oberbegriff ti innerhalb eines Textsegmentes und auch mindestens einmal zusammen mit dem zweiten Oberbegriff t2 innerhalb eines weiteren Textsegmentes auftreten, also von con(ti,t2) bzw. der entsprechenden Schnittmenge erfasst werden. In diesem Fall wird jedoch aus con(tχ,t2) keine inhaltlich bedeutungsvolle Beziehung abgeleitet. Im oben genannten Beispiel würde ein Textsegment „ein Junge läuft einen Hügel hinab" ebenso zu einer Beziehung zwischen „Hund" und „Junge" (oder auch zu einer Beziehung bzw. Ähnlichkeit zwischen „Katze" und „Junge") führen, auch wenn die semantische Ähnlichkeit dieses Begriffspaares sicherlich nur sehr gering ist. Das Problem ist hier somit, dass der Inhaltsausdruck tcon „läuft einen Hügel hinab" in Verbindung mit einer Vielzahl sich bewegender Objekte vorkommt und demgemäß keinen signifikanten gemeinsamen Aspekt zwischen „Junge" und „Katze" (bzw. zwischen „Junge" und „Hund") beschreibt .
Erfindungsgemäße Ähnlichkeitsgewichtung
Um die vorstehend beschriebenen Probleme des Standes der Technik zu lösen, wird erfindungsgemäß vorgeschlagen, den Auftretenskontext und den Inhaltskontext in einen Begriff eines gemeinsamen Kontexts, welcher auf dem gemeinsamen Auftreten und auf dem gemeinsamen Inhalt basiert, zu kombinieren, also ein Ähnlichkeitsmaß occ_con (tl712) zu bilden, welches sowohl die Gesamthäufigkeit des gemeinsamen Vorkommens der beiden Ausdrücke ti und t2 des Ausdruckspaares innerhalb von TextSegmenten, als auch die Gesamtzahl unterschiedlicher Kontextausdrücke in dieser Menge von Textsegmenten berücksichtigt. Ein Kontextausdruck ist hierbei ein Ausdruck, welcher in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit dem Ausdruck ti und in mindestens einem weiteren Textsegment dieser Menge gemeinsam mit dem Ausdruck t2 vorkommt, dabei jedoch weder tx noch t2 entspricht (also weder mit ti noch mit t2 identisch ist) .
Besonders vorteilhaft wird ein solches Ähnlichkeits- maß erfindungsgemäß wie folgt berechnet:
occ _ con{tx , t2 ) = {Ausdrücke tcon \ tcon mit tx , tcon mit t2 , tcon mit (f, undt2 )}
Das so definierte Ähnlichkeitsmaß occ_con (ti, t2) (bzw. in der alternativen Kardinalzahlschreibweise: |occ_con(ti, t2) |) entspricht somit der Menge all derjenigen Kontextausdrücke tcon (genauer: deren Anzahl), für die gilt, dass sie gemeinsam mit ti und t2 in ein und demselben Textsegment auftreten. Vom Inhalts- blickwinkel aus gesehen beschreibt das vorgestellte vorteilhafte erfindungsgemäße Ähnlichkeitsmaß occ_con ( ti, t2) einen Inhaltskontext, welcher den Inhalt der Textsegmente, in denen ti und t2 gemeinsam auftreten, berücksichtigt, während vom Auftretens- blickwinkel aus gesehen die vorgestellte Maßzahl verlangt, dass die beiden untersuchten Ausdrücke ti und t2 auch jeweils gemeinsam in ein und demselben Textsegment auftreten. Verglichen mit dem vorher beschriebenen reinen auftretensbasierten gemeinsamen Kontext, verleiht somit dieses vorteilhafte, erfindungsgemäße, auf dem Auftreten und dem Inhalt basierende Ähnlichkeitsmaß allen verschiedenen Kontextausdrücken tcorw welche zusammen mit ti und t2 im selben Textsegment auftreten, dieselbe Wichtigkeit unabhängig davon, wie häufig ein solches gemeinsames Auftreten von ti und t2 mit einem bestimmten tcon tatsächlich vorkommt. Damit beeinflusst ein mehrfaches gemeinsames Auftreten der Ausdrücke ti und t2 zusammen in identischen Inhaltsumgebungen das Ähnlichkeitsmaß occ_con (ti, t2) (und somit auch die daraus berechneten erfindungsgemäßen Ähnlichkeitsgewichtungen agw(ti,t2), siehe später) nicht. Im Vergleich zu den vorher beschriebenen reinen inhaltsbasierten gemeinsamen Kontexten, berücksichtigt das vorteilhafte erfindungsgemäße Ähnlichkeitsmaß lediglich diejenigen Kontextausdrücke tCOn/ welche gemeinsam mit tx und t2 innerhalb eines Textsegmentes auftreten; somit wird durch dieses Ähnlichkeitsmaß die Signifikanz des gemeinsamen Aspektes der beiden Ausdrücke tλ und t2, also das tatsächliche Vorhandensein einer semantischen Ähnlichkeit, besser erfasst.
Der im vorliegenden Ausführungsbeispiel verwendete vorteilhafte Begriff des gemeinsamen Kontexts (also das vorstehend beschriebene Ähnlichkeitsmaß occ_con (ti, t2) ) kann nun wie folgt beschrieben verwendet werden, um zwei Arten von bedingten Wahrscheinlichkeiten zu berechnen (diese bedingten Wahrscheinlichkeiten können dann entweder unmittelbar selbst oder als Kombination verwendet werden, um erfindungsgemäß Ähnlichkeitsgewichtswerte agw(ti,t2) für Paare von Ausdrücken zu berechnen) : a) Eine erste bedingte Wahrscheinlichkeit, welche das vorstehend beschriebene Ähnlichkeitsmaß occ_con(ti, t2) mit Hilfe des Auftretenskontexts normiert und b) eine zweite bedingte Wahrscheinlichkeit, welche das Ähnlichkeitsmaß occ_con(tχ, t2) mit Hilfe des gemeinsamen Inhaltskontexts normiert .
a) Erste bedingte Wahrscheinlichkeit:
Diese misst, wie häufig das Vorhandensein des ersten Ausdrucks ti in einem Textsegment zur Folge hat, dass der zweite Ausdruck t2 gemeinsam mit einem gemeinsamen Kontextausdruck tcon im selben Textsegment vorkommt und umgekehrt .
P(?x mit { con , h mit tm \ tx ) * P{tx mit tcon , t2 mit tcm \ t2 ) = ' °CC - C°"(/| ' '2 } ' -
Diese gemeinsame bedingte Wahrscheinlichkeit berücksichtigt somit das vorstehend beschriebene Problem des mehrfachen gemeinsamen Auftretens von tx und t2 innerhalb identischer (oder ähnlicher) Inhaltszusammenhänge. Zur besseren Vergleichbarkeit mit der aus dem Stand der Technik bekannten Cosinus -Ähnlichkeits- gewichtung COS lässt sich hiermit unmittelbar ein erster erfindungsgemäßer Ähnlichkeitsgewichtswert agw(ti,t2) wie folgt gewinnen (für die Definition von occ (ti) siehe vorangehender Abschnitt c) zum Stand der Technik) : I occ _ con(tu t2 ) \
F\) rel _ occ _ con(t] , /•> ) = -
Vl occ(/, ) | * | OCc(Z2 ) I
b) Zweite bedingte Wahrscheinlichkeit:
Diese erfasst die Wahrscheinlichkeit, dass zwei Ausdrücke ti und t2 gemeinsam miteinander auftreten, wenn die Bedingung erfüllt ist, dass beide von ihnen getrennt mit einem gemeinsamen Kontextterm tcon auftreten (dass also in einem ersten Textsegment ti mit tcon auftritt) und in einem zweiten Textsegment t2 mit tcon auftritt. Die zweite bedingte Wahrscheinlichkeit ist definiert durch
F2) P{t, mit t2 I tcon mit /, , tcnn mit t2 ) = -' °C° ~ C°"(t] ' h } und kann unmittelbar in dieser Form als erfindungsgemäßer Ähnlichkeitsgewichtswert agw(ti,t2) verwendet werden (Definition der Größe con(t!,t2) siehe vorangehender Abschnitt d) zum Stand der Technik) . Der so berechnete Ähnlichkeitsgewichtswert agw(ti,t2) wird auch als Aspektverhältnis aspect_ratio ( ti# t2) bezeichnet .
Die so gemäß F2) berechnete bedingte Wahrscheinlichkeit berücksichtigt das Problem derjenigen gemeinsamen Kontextausdrücke tcon, welche von der Maßzahl con(ti,t2), nicht jedoch durch die Maßzahl occ_con (ti, t2) erfasst werden. Ein so berechneter Ähnlichkeitsgewichtswert (Aspektverhältnis) erreicht, dass scheinbare Beziehungen zwischen Oberbegriffen (wie beispielsweise „Mond" oder „Stern"), welche dazu tendieren, viele gemeinsame Kontextausdrücke aufzuweisen (was dazu führt, dass con(ti,t2) groß wird) eliminiert werden. Vorteilhaft ist hierbei, dass das Aspektverhältnis keine tatsächlich vorhandene Beziehung zwischen einem Oberbegriff und einem dazugehörigen sehr spezifischen Begriff (wie beispielsweise „Teleskop" und „Ritchey-Chretien-Teleskop") eliminiert. Letzteres ist darauf zurückzuführen, dass der gemeinsame Inhaltskontext eines spezifischen Ausdrucks mit jedem anderen Ausdruck gewöhnlich relativ gering ist.
Zur Normierung des Ähnlichkeitsmaßes occ_con(ti, t2) : Wie bereits beschrieben, ist occ_con aus der einen Perspektive ein Auftretenskontext - wobei die Gesamt- häufigkeit des gemeinsamen Vorkommens der beiden Ausdrücke tx und t2 berücksichtigt wird; aus der anderen Perspektive ein Inhaltskontext - wobei die Gesamtzahl unterschiedlicher Kontextausdrücke berücksichtigt wird. Aus den unterschiedlichen Perspektiven kann occ_con (ti, t2) deshalb unterschiedlich normiert werden: 1. Aus der Sichtweise des Auftretenskontext wird occ_con durch die einzelnen Auftretenskontexte, d.h. occ (ti) und occ(t2) normiert:
I occ _ con{tλ , J2 ) I
VI OCC(J1 ) I χ | occ(r2 ) |
2. Aus der Perspektive des Inhaltskontexts gibt es grundsätzlich zwei weitere Normierungsmöglichkeiten:
2.1. occ_con wird durch die einzelnen Inhaltskontexte, d.h. COnIt1) und con(t2) normiert:
\ occ_ con(t\ , t2) \
4\ con(tχ ) \ x \ con{t2 ) \
2.2. occ_con wird durch die gemeinsamen Inhaltskontexte von ti und t2, d.h. durch con(ti,t2) nor- miert, in diesem Fall ergibt sich das Aspektverhältnis :
1 OCC - COn(Z1 5 Z2 ) I
I co/7(Z, , Z2) I
Wie in Experimenten nachgewiesen wurde, verhalten sich 1. und 2.1. sehr ähnlich für die Relationsberechnung, wobei 1. leicht besser abschneidet als 2.1. Ein großes Problem des Auftretenskontexts occ liegt darin, dass die Relation zwischen tx und t2 fälschlicherweise zu stark geschätzt wird im Falle eines mehrfachen gemeinsamen Auftretens von ti und t2 in gleichen oder ähnlichen Inhaltsumgebungen. In diesem Fall können die Werte von |occ(ti) | und |occ(t2) | relativ groß sein, weil die Häufigkeit des gemeinsamen Auftretens relativ groß ist, und die Werte von |occ_con(ti, t2) I , |con(tx) | , |con(t2) | relativ klein, weil die Inhaltsumgebungen ähnlich sind. Letztere drei Mengen bzw. Kardinalia enthalten deshalb nur wenige unterschiedliche Kontextausdrücke. So könnte 2.1 mit kleinem Zählen und kleinem Nenner zu einer relativ großen Verhältniszahl führen, was falsch ist. Im Gegensatz dazu wird die Verhältniszahl in 1. mit einem kleinen Zähler und einem großen Nenner immer klein sein, was korrekt ist. 2.2. hat zwar immer noch dasselbe Problem wie 2.1., es nutzt jedoch andere Zusammenhänge zur Relationsberechnung als 1. und 2.1., wie vorher beschrieben ist. Deshalb wurde in der vorliegenden Erfindung 1. und 2.2. verwendet bzw. kombiniert .
Somit ergeben sich aus den bisherigen Darstellungen die folgenden Ähnlichkeitsgewichtswerte:
Fl) rel _occ_con(tut2) F2) aspect _ratio(J\,tη) F3) rel _occ(tut2) Jeder dieser Ähnlichkeitsgewichtswerte basiert auf unterschiedlichen statistischen Ansätzen bzw. nutzt unterschiedliche statistische Belege, um die Existenz von semantischen Beziehungen zwischen den Begriffen ti und t2 anzuzeigen.
Erfindungsgemäß wird nun zunächst vorgeschlagen, die Quantifizierung der Ähnlichkeit der beiden Ausdrücke ti und t2 mit Hilfe des Ähnlichkeitsgewichtswerts Fl oder des Ähnlichkeitsgewichtswerts F2 durchzuführen. Vorteilhafter ist jedoch, erfindungsgemäß eine der folgenden Produktkombinationen als Ähnlichkeitsgewichtswert agw(ti,t2) zu verwenden: F1*F2, F1*F3 oder F2*F3. Besonders vorteilhaft ist es jedoch, erfindungsgemäß die Produktkombination F1*F2*F3 aus allen drei vorgestellten Ähnlichkeitsgewichtswerten zu verwenden, also
rel _ comb(tλ , 12 ) = aspect _ ratio{tx , t2 ) * rel _ occ _ con(tλ , t2 ) * rel _ occ{tx J2) •
Die Vorteile dieser Dreier-Produktkombination rel_comb(ti, t2) ergeben sich insbesondere dadurch, dass jeder ihrer einzelnen Indikatoren für die Existenz einer semantischen Beziehung zwischen den Begriffen ti und t2 unterschiedliche statistische Informationen für die Beziehungsbestimmung berücksichtigt.
Vergleich der erfindungsgemäßen Ähnlichkeitsquantifizierung mit Ähnlichkeitsquantifizierungen nach dem Stand der Technik
Ein erfindungsgemäßes Ähnlichkeitsberechnungssystem, dessen wesentliche Bestandteile vorstehend bereits angedeutet wurden (und das hinsichtlich seiner einzelnen Bestandteile nachfolgend bezüglich Figur 4 noch genauer beschrieben wird) weist vorteilhafterweise eine Zielausdruckspaar--Auswahleinheit auf, mit der basierend auf berechneten Ähnlichkeitsgewichts- werten agw(tn, ti2) eine definierbare Anzahl m (m e der natürlichen Zahlen mit m ≥ 2) von Kandidatenausdruckspaaren (tu, ti2) mit i=l, ... , m auswählbar ist. Die Auswahl geschieht hierbei bevorzugt so, dass diejenigen m Kandidatenausdruckspaare ausgewählt werden, welche die größten berechneten Ähnlichkeitsgewichtswerte aufweisen. Diese m-ausgewählten Kandidatenausdruckspaare werden nachfolgend auch als Ziel- ausdruckspaare bezeichnet.
Anhand einer solchen ausgewählten Menge von m Ziel- ausdruckspaaren kann eine Bewertung der erfindungsgemäßen Ähnlichkeitsgewichtung erfolgen.
Hierzu werden zunächst für verschiedene zu vergleichende Ähnlichkeitsgewichtungsverfahren jeweils für jedes Verfahren Ähnlichkeitsgewichtswerte für jedes mögliche Paar von Kandidatenausdrücken berechnet . Das Auswählen von m-Zielausdruckspaaren kann dann als Setzen eines Schwellwertes angesehen werden, der diejenigen Kandidatenausdruckspaare, deren Ähnlichkeitsgewichtswert unterhalb eines bestimmten Größenwerts liegt, eliminiert.
Da kein Ähnlichkeitsgewichtungsverfahren perfekt ist, wird die Menge von m-Zielausdrücken unvermeidlich Rauschen enthalten, also Paare von Ausdrücken, für die in Wirklichkeit keine Beziehung besteht, sondern die irrtümlicherweise mit einem hohen Ähnlichkeitsge- wichtswert versehen wurden. Das Prinzip der nachstehend beschriebenen Bewertung basiert darauf, dass ein gutes Ähnlichkeitsgewichtungsverfahren tatsächlich vorhandene bzw. interessante semantische Beziehungen mit einem höheren Ähnlichkeitsgewichtswert versehen wird, wie ein schlechtes Verfahren, so dass innerhalb der m-ausgewählten Zielausdruckspaare mehr Paare mit tatsächlich auftretenden semantischen Beziehungen (nachfolgend auch „interessante Beziehungen" genannt) auftreten als bei einem schlechteren Ähnlichkeitsge- wichtungsverfahren .
Ob tatsächlich zwischen einem bestimmten Ausdrucks- paar (tu, ti2) eine interessierende Beziehung besteht, wird durch automatischen Vergleich mit einem für die betrachtete Dokumentenkollektion manuell erstellten Thesaurus bewertet: Eine Zielausdruckspaar- Beziehung ist von einem betrachteten Verfahren dann korrekterweise als interessant eingestuft worden, wenn sie als interessante Beziehung innerhalb des manuell erstellten Thesaurus (Goldstandard) definiert worden ist .
Die Leistungsfähigkeit eines Ähnlichkeitsgewichtungs- verfahrens kann dadurch bewertet werden, dass seine Präzision PR (m) und seine Trefferquote R(m) in Abhängigkeit von der Anzahl m ausgewählter Zielausdrucks - paare in Bezug auf den gegebenen Goldstandard berechnet wird. Ist L die Gesamtzahl der im Goldstandard als vorhanden definierten paarweisen Beziehungen, also die Gesamtzahl interessanter Beziehungen, ist m die Anzahl der vom Verfahren anhand der Ähnlichkeitsgewichtswerte ausgewählten Zielausdruckspaare (es werden hierbei nur Gewichtswerte für solche Paare aus den Dokumenten berechnet, deren beide Ausdrücke auch im Goldstandard vorhanden sind) und ist y(m) die Anzahl derjenigen unter den m ausgewählten Zielausdruckspaaren, welche eine interessante Beziehung im Sinne des Goldstandards aufweisen, so lassen sich die Präzision und die Trefferquote wie folgt definieren: PR{m) = y{m) I m R{m) = y{m) l L
Mit Hilfe des F-Maßes (vgl. Van Rijsbergen: „Information Retrieval", 1979) lassen sich diese beiden Messwerte kombiniert in einem einzigen Messwert erfassen:
2*PR*R
PR+ R
Wird nun für jede ausgewählte Anzahl m von Zielausdruckspaaren auf der Ordinate das zugehörige F-Maß F(m) aufgetragen, so lassen sich anhand ihrer unterschiedlichen F (m) -Kurven verschiedene Ähnlichkeitsge- wichtungen vergleichen. Ein Ähnlichkeitsgewichtungs- verfahren, dessen F (m) -Kurve für einen bestimmten Wert von m oberhalb der F (m) -Kurve eines anderen Ähn- lichkeitsgewichtungsverfahrens liegt, ist somit bezüglich dieses m-Wertes das bessere Verfahren.
Die nachfolgend dargestellten Vergleichsergebnisse wurden wie folgt gewonnen:
• Verwendung von ca. 8000 Textdokumenten aus dem Bereich der Astronomie als Textkollektion. Die Textdokumente wurden, wie bereits vorstehend beschrieben, vorverarbeitet. β Als Goldstandard wurde ein manuell erstellter Astronomie-Thesaurus verwendet, welcher etwa 2900 Einzelbegriffe enthält.
• Anstelle nun wie bei der automatischen Thesaurus- konstruktion üblich, in einem ersten Schritt mittels eines geeigneten Ausdrucks-Auswahlverfahrens (wie es z.B. in Referenz 1 beschrieben ist) mittels Zuweisung geeigneter Gewichtswerte für jeden Ausdruck eine Menge von Kandidatenausdrücken ti auszuwählen, für die dann paarweise die Ähnlich- keitsgewichtswerte agw It3^t2) berechnet werden, wurden vereinfacht diejenigen Paare von Goldstandard-Ausdrucken bestimmt, bei denen beide Ausdrücke ti und t2 eines Paares jeweils zusammen in mindestens drei Dokumenten der Textkollektion vorkommen. Dies ergab etwa 40000 Kandidatenausdruckspaare. 743 von diesen Kandidatenausdruckspaaren ist im Goldstandard-Thesaurus eine interessante Beziehung zugewiesen (L=743) . Die Aufgabe der zu vergleichenden Ähnlichkeitsgewichtungsverfahren lässt sich somit dadurch beschreiben, wie viele der m ausgewählten, höchstgewichteten Zielausdruckspaare (tu, ti2) zu denjenigen y Paaren gehören, welchen im Goldstandard eine interessante Beziehung zugewiesen ist (m kann somit im Bereich von 1 bis 40000 variiert werden) . Ergebnisse der unterschiedlichen Ähnlichkeitsgewichtungsverfahren für die Extraktion interessanter Goldstandard- Beziehungen sind nachfolgend ausschnittsweise wiedergegeben.
Figur 2 zeigt nun die Ergebnisse für verschiedene Verfahrensarten des aus dem Stand der Technik bekannten PMI-Ähnlichkeitsgewichtungsverfahrens . Die unterschiedlichen Arten unterscheiden sich in ihrer Berechnungsart für die einzelnen Häufigkeiten f. So wurde beispielsweise bei der in der ersten Zeile von Fig. 2A dargestellten Verfahrensart die Häufigkeit fti,t2 mit Hilfe des erfindungsgemäßen Ähnlichkeitsmaßes occ_con (ti, t2) berechnet, während die Häufigkeit für den individuellen Kontext der Terme ti bzw. t2 mit Hilfe des vorbeschriebenen occ (ti) -Maßes (i = 1,2) berechnet wurde. Bei der in der zweiten Zeile dargestellten Verfahrensart wurde beispielsweise im Unterschied hierzu der gemeinsame Kontext mit Hilfe der occ (tlr t2) -Maßzahl des Standes der Technik be- rechnet (die individuellen Kontexte wurden wie bei der in der ersten Zeile dargestellten Verfahrensart berechnet) . Die Größe der Textsegmente wurde bei den in den ersten drei Zeilen der Figur 2A beschriebenen Verfahrensarten auf 41 gesetzt (20 Ausdrücke nach links und nach rechts vom jeweils zentralen Zielausdruck) .
Lediglich in der vierten Zeile wurde demgegenüber eine Verfahrensart gewählt (PMI_occ_doc) , bei der die entsprechenden Häufigkeitsmaßzahlen occ(ti) bzw. occ(ti,t2) auf Basis von Textsegmenten in Form vollständiger Textdokumente berechnet wurden (die Maßzahlen bzw. deren Größe sind daher als occ_doc(t;,.) bzw. occ_doc (ti, t2) bezeichnet) . Figur 2B zeigt nun das Verhalten der verschiedenen in Figur 2A dargestellten Verfahrensarten der aus dem Stand der Technik bekannten PMI-Ähnlichkeitsgewichtung. Die unterschiedlichen Verfahrensarten unterscheiden sich hierbei wie vorbeschrieben durch die jeweils verwendeten Begriffe des individuellen Kontextes und des gemeinsamen Kontextes .
Wie Figur 2B zeigt, zeigt diejenige Verfahrensart, welche auf Basis von Textsegmenten in Form vollständiger Textdokumente berechnet wurde, das kleinste F- Maß und stellt somit das schlechteste der vier gezeigten Ähnlichkeitsgewichtungsverfahren dar. Wie zu erwarten, zeigen somit diejenigen Verfahrensarten, welche auf der Verwendung kleinerer Textsegmente basieren, bessere Ergebnisse. Nur geringfügig besser schneidet jedoch die Verfahrensart PMI_con ab, welche rein auf dem Inhaltskontext basiert. Die rein auftre- tenskontextbasierte Verfahrensart PMI_occ schneidet bereits deutlich besser ab als die rein inhaltskon- textbasierte Verfahrensart PMI con. Am besten, wenn hier jedoch auch mit relativ geringem Vorsprung, schneidet diejenige Verfahrensart der PMI- Ähnlichkeitsgewichtung ab, deren gemeinsamer Kontext auf Basis des erfindungsgemäßen Ähnlichkeitsmaßes occ_con(t1# t2) berechnet wurde: PMI_occ_con. Das vorgestellte Beispiel zeigt somit, dass bereits durch Einbeziehung des erfindungsgemäßen Ähnlichkeitsmaßes occ_con (ti, t2) in Ähnlichkeitsgewichtungen, welche wie die PMI-Ähnlichkeitsgewichtung bereits aus dem Stand der Technik bekannt sind, bessere Ergebnisse erzielbar sind, wie bei der Verwendung eines gemeinsamen Kontextes, welcher rein inhaltsbasiert oder rein auftretensbasiert ist.
Wie Figur 3 zeigt, werden jedoch die vollen Vorteile des erfindungsgemäßen Ähnlichkeitsmaßes occ_con(ti, t2) erst dann ausgenutzt, wenn dieses auch in den vorbeschriebenen erfindungsgemäßen Ähnlichkeitsgewichtungen eingesetzt wird. Figur 3 vergleicht diese Ähnlichkeitsgewichtungen mit der im Stand der Technik häufig verwendeten rein auftretensbasierten Cosinus- Ähnlichkeitsgewichtung COS_occ_doc_ALLG, welche auf Textsegmenten in Form von ganzen Textdokumenten basiert (wobei jedoch das COS-Maß wie vorbeschrieben gemäß der verallgemeinerten Maßzahl COS_ALLG berechnet wurde) . Zum Vergleich weiter eingezeichnet ist die rein auftretensbasierte Ähnlichkeitsgewichtung F3, also rel_occ(ti, t2) (siehe vorher). Wie nicht anders zu erwarten, schneidet die dokumentenbasierte Ähnlichkeitsgewichtung COS_occ_doc_ALLG hier mit deutlichem Abstand am schlechtesten ab. Bereits die auf lediglich einem Teilfaktor Fl bzw. F2 basierenden erfindungsgemäßen Ähnlichkeitsgewichtungen rel_occ_con(ti, t2) bzw. aspect_ratio (tx, t2) schneiden deutlich besser ab. Auch die rein auf der Auftretenshäufigkeit basierende Ähnlichkeitsgewichtung rel_occ(ti, t2) schneidet hier vergleichsweise gut ab. Da jedoch jeder der drei Einzelfaktoren Fl, F2 bzw. F3 (siehe vorher) auf unterschiedlichen Belegen für das Vorhandensein einer Beziehung basiert, wird die Fähigkeit der erfindungsgemäßen Ähnlichkeitsge- wichtung agw(ti, t2) bezogen auf die Identifizierung der tatsächlich interessanten Beziehungen um so besser, je mehr Einzelfaktoren als Produktkombination in die Ähnlichkeitsgewichtung eingehen. So zeigen bereits die binären Produktkombinationen F2 * F3 bzw. Fl * F3 (aspect_ratio * rel_occ bzw. rel_occ_con * rel_occ) ein noch einmal deutlich verbessertes F-Maß (die dritte Binärkombination Fl * F2 bzw. rel_occ_con * aspect_ratio ist hier nicht eingezeichnet, da die Ergebnisse sehr nahe bei den anderen beiden Binärkombinationen liegen) . Die eindeutig besten Ergebnisse zeigt jedoch die erfindungsgemäße Ähnlichkeitsgewichtung rel_comb(t1, t2) , welche auf Basis der Produktkombination aller drei einzelner Faktoren Fl, F2 und F3 berechnet wird:
rel _ comb(tx , t2 ) = aspect _ ratio{tx t2 ) * rel _ occ _ con{tx , t2 ) * rel _ occ{tχ J2 ) .
Das maximale F-Maß liegt hier bei 0,2407, was im Vergleich zur Ähnlichkeitsgewichtung COS_occ_doc_ALLG (F-max = 0,1424) einer Verbesserung von etwa 70% entspricht. COS_occ_doc_ALLG wurde hier auch deswegen als Vergleichs-Ähnlichkeitsgewichtung herangezogen, da diese Berechnungsmethode im Bereich der automatischen Thesauruskonstruktion zur Zeit die am häufigsten angewandte Methode darstellt.
Figur 4 zeigt schlussendlich den konkreten Aufbau eines erfindungsgemäßen, automatischen, computerbasierten Ähnlichkeitsberechnungssystems . Das System ist im vorliegenden Fall mittels eines Rechnersystems in Form eines Personal Computers PC (R) ausgebildet. Das System umfasst zunächst eine Dokumenten-Speichereinheit bzw. Dokumenten-Datenbankeinheit (1) . Diese dient der Speicherung von Textdokumenten in elektronischer Form. Die Speichereinheit (1) ist eingangs- seitig mit einer Adaptereinheit (10) in Form eines CD/DVD-Lesegeräts verbunden. Im vorliegenden Fall kann somit die in der Dokumenten-Datenbankeinheit (1) zu speichernde Kollektion von Textdokumenten zunächst als Textdokumentsammlung (Ia) auf einer optischen Platte CD (9) abgespeichert sein. Die einzelnen Textdokumente können dann mittels des Adapters (10) von der optischen Platte gelesen und in der Dokumenten- Datenbankeinheit (1) abgelegt werden.
Ausgangsseitig ist die Dokumenten-Datenbankeinheit (1) mit einer Textdokument-Vorverarbeitungseinheit (5) verbunden. In dieser sind die einzelnen Textdokumente wie vorher beschrieben vorverarbeitbar; hier können beispielsweise Steuerworte wie html- Steuerbefehle oder auch Stoppworte aus den einzelnen Textdokumenten eliminiert werden. Ebenfalls ist eine Wortstamm-Reduktion möglich. Die Textdokument- Vorverarbeitungseinheit (5) v/eist hier einen Speicher auf, in dem die vorverarbeiteten Textdokumente ablegbar sind. Aus den vorverarbeiteten Textdokumenten kann dann mit der Kandidatenausdruck-Auswahleinheit (4) eine Menge von für die betrachtete Dokumentenkollektion charakteristischen einzelnen Ausdrücken, die Kandidatenausdrücke t± ausgewählt werden. Wie die Auswahl solcher Kandidatenausdrücke aus den Textdokumenten geschehen kann, ist aus dem Stand der Technik bekannt und wird hier daher nicht näher beschrieben. Als Beispiel sei lediglich angegeben, dass die für eine bestimmte Textkategorie (beispielsweise Textdokumente, die sich inhaltlich mit dem Themenbereich Astronomie beschäftigen) kategoriespezifischen Ausdrücke mit Hilfe einer Varianzanalyse ausgewählt werden können, wie sie beispielsweise in Referenz 1 beschrieben ist. Die Menge der ausgewählten Kandidaten- ausdrücke ti kann dann in der mit der Kandidatenausdruck-Auswahleinheit (4) verbundenen Kandidatenausdruck-Speichereinheit (2) abgelegt werden.
Herzstück des gezeigten ÄhnlichkeitsberechnungsSystems ist die Ähnlichkeitsgewichtswert-Berechnungseinheit (3), welche eingangsseitig sowohl mit der Do- kumenten-Vorverarbeitungseinheit (5) , als auch mit der Kandidatenausdruck-Speiehereinheit (2) verbunden ist. Die Ähnlichkeitsgewichtswert-Berechnungseinheit (3) wählt Paare von Kandidatenausdrücken (ti, t2) aus der Speichereinheit (2) aus, untersucht wie bereits ausführlich beschrieben das Vorkommen der einzelnen Ausdrücke eines Paares oder beider Ausdrücke eines Paares in Textsegmenten der in der Einheit (5) abgelegten Textdokumente und führt alle weiteren notwendigen Schritte, wie sie vorstehend beschrieben wurden, zur erfindungsgemäßen Berechnung der Ähnlichkeitsgewichtswerte agw(ti, t2) der Paare durch. Die Berechnungseinheit (3) weist ebenfalls eine Speichereinheit auf, in welcher die berechneten Ähnlichkeitsgewichtswerte agw abgelegt werden können.
Ausgangsseitig ist die Ähnlichkeitsgewichtswert- Berechnungseinheit (3) mit einer Zielausdruckspaar- Auswahleinheit (6) verbunden. Diese kann basierend auf bereits von der Berechnungseinheit (3) berechneten Ähnlichkeitsgewichtswerten agw (tu, ti2) eine definierte Anzahl m (i=l, ... m) von Kandidatenaus- druckspaaren (tu, ti2) auswählen. Vorzugsweise arbeitet die Zielausdruckspaar-Auswahleinheit (6) so, dass aus der Menge von Kandidatenausdruckspaaren, für die Gewichtswerte berechnet wurden, diejenigen m Kandidatenausdruckspaare ausgewählt werden, welche die höchsten berechneten Ähnlichkeitsgewichtswerte agw(tü, ti2) (i=l, .... m) aufweisen. Die Zielausdruckspaar-Auswahleinheit (6) kann als Hardware- Schaltung realisiert sein oder auch als entsprechender Programmcode innerhalb einer Speichereinheit abgelegt sein. Selbiges gilt auch für die beschriebene Vorverarbeitungseinheit (5) und die beschriebene Kandidatenausdruck-Auswahleinheit (4) sowie für die nachfolgend noch beschriebene Strukturiereinheit (8) . Auch eine Realisierung, welche zum Teil in Form einer Hardware-Schaltung und zum Teil in Form eines Programmcodes vorliegt, ist möglich. Damit die m Kandidatenausdruckspaare mit den höchsten Ähnlichkeitsgewichtswerten auswählbar sind, weist die Zielausdruckspaar-Auswahleinheit (6) hier eine Zielausdruckspaar-Sortiereinheit (7) auf, mit welcher Kandidatenausdruckspaare nach ihren Gewichtswerten sortierbar sind.
Ausgangsseitig ist die Auswahleinheit (6) mit einer Zielausdruckspaar-Strukturiereinheit (8) verbunden. Mit dieser sind die einzelnen Ausdrücke der m- ausgewählten Zielausdruckspaare basierend auf den m zugehörigen Ähnlichkeitsgewichtswerten der Zielausdruckspaare mittels eines geeigneten Verfahrens in einer hierarchischen Struktur anordenbar. Auch solche Strukturiereinheiten bzw. entsprechende Strukturierverfahren sind aus dem Stand der Technik bekannt, weshalb hier nicht weiter auf sie eingegangen wird. Möglich ist hierbei beispielsweise eine hierarchische Strukturierung anhand des Schichtsamen-Verfahrens (Layer-Seed-Verfahrens) aus Referenz 1. Die in der Strukturiereinheit (8) bestimmte hierarchische Struktur oder auch die m ausgewählten Zielausdruckspaare können dann auf dem Monitor (11) dargestellt werden.

Claims

Patentansprüche
1. Automatisches, computerbasiertes Ähnlichkeitsbe- rechnungssystem für die Berechnung von Ähnlichkeitsgewichtswerten für Paare von Ausdrücken, wobei ein Ähnlichkeitsgewichtswert die Ähnlichkeit der beiden Ausdrücke eines Paares von Ausdrücken quantifiziert,
mit
einer Dokumenten-Datenbankeinheit (1) , in der oder auf der eine mindestens ein Textdokument umfassende Kollektion von Textdokumenten in digitalisierter Form speicherbar ist und/oder gespeichert ist,
einer Kandidatenausdruck-Speichereinheit (2) , in der eine mehrere Ausdrücke umfassende Menge von Kandidatenausdrücken t± speicherbar ist und/oder gespeichert ist, wobei jeder Ausdruck t± in mindestens einem der Textdokumente der Kollektion vorkommt , und
einer Ähnlichkeitsgewichtswert- Berechnungseinheit (3), mit der aus der Menge von Kandidatenausdrücken mindestens ein Paar von Kandidatenausdrücken ti und t2 auswählbar ist und mit der für das mindesten eine ausgewählte Ausdruckspaar ein Ähnlichkeitsgewichtswert agw(tlt t2) berechenbar ist,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) auf Basis eines Ähnlichkeitsmaßes \occ_con(ti, t2) \ berechenbar ist, welches sowohl die Gesamthäufigkeit des gemeinsamen Vorkommens der beiden Ausdrücke ti und t2 des Ausdruckspaares innerhalb ein und desselben Textsegments in einer Menge von mehreren aus der Kollektion von Text- dokumenten auswählbaren oder ausgewählten Text- segmenten, als auch die Gesamtzahl unterschiedlicher Kontextausdrücke in dieser Menge von Textsegmenten berücksichtigt,
wobei ein Kontextausdruck ein Ausdruck ist, welcher in dieser Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit dem Ausdruck ti und in mindestens einem Textsegment gemeinsam mit dem Ausdruck t2 vorkommt und welcher weder ti noch t2 entspricht.
2. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
Kontextausdrücke nur diejenigen Ausdrücke sind, die in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit beiden Ausdrücken ti und t2 vorkommen.
3. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass das Ähnlichkeitsmaß occ_con(tlf t2) die Gesamtzahl all derjenigen Kontextausdrücke ist, welche in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam sowohl mit dem Aus- druck ti, als auch mit dem Ausdruck t2 vorkommen und welche weder fc2 noch t2 entsprechen oder gleichen, wobei ein in identischer Form in mehr als einem der Textsegmente auftretender Kontextausdruck nur einmal gezählt wird, so dass nur die Zahl unterschiedlicher Kontextausdrücke berücksichtigt wird.
4. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) auf Basis mindestens einer bedingten Wahrscheinlichkeit für das Auftreten von einem zweiten Ausdruck oder mehreren zweiten Ausdrücken innerhalb eines TextSegmentes unter der Bedingung des Auftretens eines ersten Ausdrucks oder mehrerer erster Ausdrücke innerhalb dieses Textsegmentes oder auf Basis einer Näherung einer solchen bedingten Wahrscheinlichkeit berechenbar ist.
5. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass die bedingte Wahrscheinlichkeit das Produkt zweier bedingter Wahrscheinlichkeiten oder zweier Näherungen derselben ist.
6. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass eine der beiden bedingten Wahrscheinlichkeiten das Auftreten von t2 innerhalb eines Textsegmentes als gegebene Bedingung aufweist und dass die andere bedingte Wahrscheinlichkeit das Auftreten von t2 innerhalb eines Textsegmentes als gegebene Bedingung aufweist.
7. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche und nach Anspruch 3,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tχ, t2) auf Basis des normierten Ähnlichkeitsmaßes σcc_con (tlf t2) berechenbar ist, wobei die Normierung von occ_con (tlf t2) mittels des Produkts aus der Gesamtzahl von Textsegmenten in der Menge von Textsegmenten, in welchen t2 vorkommt, und der Gesamtzahl von Textsegmenten in der Menge von Textsegmenten, in welchen t2 vorkommt, erfolgt .
8. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche und nach Anspruch 3 ,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) 'gemäß einem der beiden folgenden Formelausdrücke berechenbar ist:
' wobei \occ(ti)\ mit i=l,2 die Gesamtzahl von Textsegmenten in der Menge von Textsegmenten ist, in welchen t± vorkommt. ) I
F2 ) aspect _ ratιo{tλ , wobei t2) | die Gesamtzahl derjenigen unterschiedlichen Kontextausdrücke ist, welche in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit dem Ausdruck t2 und in mindestens einem Textsegment gemeinsam mit dem Ausdruck t2 vorkommen und weder t2 noch t2 entsprechen.
9. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche und nach Anspruch 3 ,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) als Produkt des Formelausdrucks Fl und des Formel- ausdrucks F2 aus dem vorhergehenden Anspruch berechenbar ist: I occ _ con(t{ , t2 ) \
««W('|»'2) = ICOW(J1,r2)I
10. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche und nach Anspruch 3 ,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) als Produkt aus einem der Formelausdrücke Fl oder F2 aus Anspruch 8 und dem Formelausdruck rel_occ (tlf t2) berechenbar ist mit
wobei \occ(ti)\ mit i=l , 2 die Gesamtzahl von Textsegmenten in der Menge von Textsegmenten ist, in welchen t± vorkommt und wobei t2) I die Gesamtzahl von Textsegmenten in der Menge von TextSegmenten ist, in welchen fci und t2 gemeinsam vorkommen.
11. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche und nach Anspruch 3 ,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlr t2) als Produkt der Formelausdrücke Fl und F2 aus Anspruch 8 und des Formelausdrucks F3 aus dem vorhergehenden Anspruch berechenbar ist, dass also gilt: αgw(/, ,t2 ) = rel_comb(tλ,t2) =
12. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass mindestens eines der Textsegmente aus der Menge von Textsegmenten ein vollständiges Textdokument ist.
13. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche ,
dadurch gekennzeichnet, dass mindestens eines der Textsegmente aus der Menge von Textsegmenten ein Teil eines Textdokumentes ist.
14. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass der Teil ein Kapitel, ein Unterkapitel, ein Textabsatz, ein Satz oder ein zwischen zwei Interpunktionszeichen stehender Satzteil ist oder dass der Teil einer festgelegten Zahl n einzelner, durch Leerzeichen getrennter, aufeinander folgender Ausdrücke oder Wörter des Textdokuments entspricht (Textfenster mit Fensterbreite n) .
15. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
3 ≤ n < 101, bevorzugt 11 ≤ n ≤ 81, bevorzugt 21 ≤ n ≤ 61, bevorzugt 31 ≤ n ≤ 51, besonders bevorzugt π=41 gilt.
16. Ähnlichkeitsberechnungssystem nach einem der beiden vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass mindestens zwei der Textsegmente aus der Menge von Textsegmenten sich gegenseitig überlappen, also mindestens einen gemeinsamen Segmentabschnitt aufweisen.
17. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch eine Kandidatenausdruck-Auswahleinheit (4), mit der Kandidatenausdrücke ti aus dem oder den Textdokumenten der Kollektion auswählbar und der Kandidatenausdruck-Speichereinheit (2) übermittelbar sind.
18. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
gekennzeichnet durch
eine Textdokument-Vorverarbeitungseinheit (5) , mit der die Textdokumente der Kollektion vor der Auswahl der Kandidatenausdrücke ti und ihrer Übermittlung an die Kandidatenausdruck- Speichereinheit (2) vorverarbeitbar sind.
19. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
die Textdokument-Vorverarbeitungseinheit (5) aufweist :
• eine Steuerwort-Eliminierungseinheit , insbesondere eine HTML-Steuerbefehl- Eliminierungseinheit , mit der Textdokumente um in ihnen enthaltene Steuerworte verminderbar sind, und/oder
• eine Stopwort-Eliminierungseinheit , mit der Textdokumente um in ihnen enthaltene Stopwor- te verminderbar sind, und/oder
• eine Wortstamm-Reduktionseinheit, mit der in Textdokumenten enthaltene Worte auf den jeweiligen Wortstamm reduzierbar sind und somit Textdokumente auf Sammlungen von Wortstämmen reduzierbar sind.
20. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch
eine Zielausdruckspaar-Auswahleinheit (6) , mit der basierend auf berechneten Ähnlichkeitsgewichtswerten a.gw(tn, t±2) eine definierbare Anzahl in (i=l,...,m) von Kandidatenausdruckspaaren tu und t±2 {m Element der natürlichen Zahlen und m ≥ 2) auswählbar ist.
21. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass die Zielausdruckspaar-Auswahleinheit (6) eine Zielausdruckspaar-Sortiereinheit (7) aufweist, mit der Kandidatenausdruckspaare gemäß der Größe ihres jeweiligen Ähnlichkeitsgewichtswertes auf- oder absteigend sortierbar sind, und dass mit der Zielausdruckspaar-Auswahleinheit (6) diejenigen m Kandidatenausdruckspaare mit den höchsten berechneten Ähnlichkeitsgewichtswerten auswählbar sind.
22. Ähnlichkeitsberechnungssystem nach einem der beiden vorhergehenden Ansprüche,
gekennzeichnet durch
eine Zielausdruckspaar-Stukturiereinheit (8), mit der die einzelnen Ausdrücke der m ausgewählten Zielausdruckspaare basierend auf den m Ahn- lichkeitsgewichtswerten der Zielausdruckspaare in einer hierarchischen Struktur anordnbar sind.
23. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das Vorkommen von Ausdrücken in Textsegmenten ohne Berücksichtigung von Unterschieden in der Groß/Kleinschreibung, bezüglich vorhandener oder nicht vorhandener Bindestriche und/oder von Unterschieden in der Anzahl von Leerzeichen zwischen einzelnen aufeinander folgenden Worten bestimmbar ist.
24. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche ,
gekennzeichnet durch ein Rechnersystem (R) , insbesondere einen Personal-Computer PC, in welchem die Dokumenten- Datenbankeinheit (1), die Kandidatenausdruck- Speichereinheit (2) und/oder die Ähnlichkeitsgewichtswert-Berechnungseinheit (3) ausbildbar und/oder ausgebildet sind.
25. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
die Dokumenten-Datenbankeinheit (1), die Kandidatenausdruck-Speichereinheit (2) und/oder die Ähnlichkeitsgewichtswert-Berechnungseinheit (3 ) zumindest teilweise durch den physikalischen Hauptspeicher des Rechnersystems (Rl) oder durch einen Teil desselben ausbildbar und/oder ausgebildet sind.
26. Ähnlichkeitsberechnungssystem nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch
mindestens eine vorzugsweise transportable Speichervorrichtung (9), in der oder auf der die Dokumenten-Datenbankeinheit (1) zumindest teilweise ausbildbar und/oder ausgebildet ist.
27. Ähnlichkeitsberechnungssystem nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
die Speichervorrichtung (9) eine optische Platte, insbesondere eine CD oder eine DVD, oder eine tragbare Festplatte ist.
28. Ähnlichkeitsberechnungssystem nach einem der beiden vorhergehenden Ansprüche und nach Anspruch 24,
dadurch gekennzeichnet, dass
das Rechnersystem (R) mindestens eine Datentransfervorrichtung (10) , insbesondere ein optisches Lesegerät oder einen Festplattenadapter, zum Datentransfer, insbesondere zum Transfer von Textdokumenten in digitalisierter Form, mit der Speichervorrichtung (9) aufweist.
29. Automatisches, computerbasiertes Ähnlichkeitsbe- rechnungsverfahren für die Berechnung von Ähnlichkeitsgewichtswerten für Paare von Ausdrücken, wobei ein Ähnlichkeitsgewichtswert die Ähnlichkeit der beiden Ausdrücke eines Paares von Ausdrücken quantifiziert,
wobei eine mindestens ein Textdokument umfassende Kollektion von Textdokumenten in digitalisierter Form gespeichert wird,
wobei eine mehrere Ausdrücke umfassende Menge von Kandidatenausdrücken ti gespeichert wird, wobei jeder Ausdruck ti in mindestens einem der Textdokumente der Kollektion vorkommt, und
wobei aus der Menge von Kandidatenausdrücken mindestens ein Paar von Kandidatenausdrücken t2 und t2 ausgewählt wird und für das mindesten eine ausgewählte Ausdruckspaar ein Ähnlichkeitsge- wichtswert agw(tχ, t2) berechnet wird,
dadurch gekennzeichnet, dass
der Ähnlichkeitsgewichtswert agw(ti, t2) auf Basis eines Ähnlichkeitsmaßes occ__con(tXl t2) berechnet wird, welches sowohl die Gesamthäufigkeit des gemeinsamen Vorkommens der beiden Ausdrücke fci und t2 des Ausdruckspaares innerhalb ein und desselben Textsegments in einer Menge von mehreren aus der Kollektion von Textdokumenten auswählbaren oder ausgewählten Textsegmenten, als auch die Gesamtzahl unterschiedlicher Kontextausdrücke in dieser Menge von Textsegmenten berücksichtigt,
wobei ein Kontextausdruck ein Ausdruck ist, welcher in dieser Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit dem Ausdruck ti und in mindestens einem Textsegment gemeinsam mit dem Ausdruck t2 vorkommt und welcher weder C1 noch t2 entspricht.
30. Ähnlichkeitsberechnungsverfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass ein Ähnlichkeitsberechnungssystem nach einem der Ansprüche 1 bis 28 verwendet wird.
31. Ähnlichkeitsberechnungsverfahren nach einem der beiden vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass als Kontextausdrücke nur diejenigen Ausdrücke berücksichtigt werden, die in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit beiden Ausdrücken tx und t2 vorkommen .
32. Ähnlichkeitsberechnungsverfahren nach einem der drei vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass als Ähnlichkeitsmaß occ_con(tlf t2) die Gesamtzahl all derjenigen Kontextausdrücke verwendet wird, welche in der Menge von TextSegmenten in mindestens einem Textsegment gemeinsam sowohl mit dem Ausdruck tlt als auch mit dem Ausdruck t2 vorkommen und welche weder tx noch t2 entsprechen oder gleichen, wobei ein in identischer Form in mehr als einem der Textsegmente auftretender Kontextausdruck nur einmal gezählt wird, so dass nur die Zahl unterschiedlicher Kontextausdrücke berücksichtigt wird.
33. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 32,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tχ, t2) auf Basis mindestens einer bedingten Wahrscheinlichkeit für das Auftreten von einem zweiten Ausdruck oder mehreren zweiten Ausdrücken innerhalb eines Textsegmentes unter der Bedingung des Auftretens eines ersten Ausdrucks oder mehrerer erster Ausdrücke innerhalb dieses Textsegmentes oder auf Basis einer Näherung einer solchen bedingten Wahrscheinlichkeit berechnet wird.
34. Ähnlichkeitsberechnungsverfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass die bedingte Wahrscheinlichkeit das Produkt zweier bedingter Wahrscheinlichkeiten oder zweier Näherungen derselben ist .
35. Ähnlichkeitsberechnungsverfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass eine der beiden bedingten Wahrscheinlichkeiten das Auftreten von fc2 innerhalb eines Textsegmentes als gegebene Bedingung aufweist und dass die andere bedingte Wahrscheinlichkeit das Auftreten von t2 innerhalb eines Textsegmentes als gegebene Bedingung aufweist.
36. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 35 und nach Anspruch 32,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlr t2) auf Basis des normierten Ähnlichkeitsmaßes occ_con(t!, t2) berechnet wird, wobei die Normierung von occ_con(t!, t2) mittels des Produkts aus der Gesamtzahl von Textsegmenten in der Menge von TextSegmenten, in welchen tj- vorkommt, und der Gesamtzahl von Textsegmenten in der Menge von TextSegmenten, in welchen t2 vorkommt, erfolgt .
37. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 36 und nach Anspruch 32,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlr t2) gemäß einem der beiden folgenden Formelausdrücke berechnet wird:
, wobei \occ(ti)\ mit i=l, 2 die Gesamtzahl von Textsegmenten in der Menge von Textsegmenten ist, in welchen tj vorkommt.
x I occ con(t, ,t2) \
F2 ) αspect_rαtιo{tx ,t2) = ' - ' 2 ' ,
\ con{tx ,t2) \ wobei I COnCt1, t2) | die Gesamtzahl derjenigen unterschiedlichen Kontextausdrücke ist, welche in der Menge von Textsegmenten in mindestens einem Textsegment gemeinsam mit dem Ausdruck ti und in mindestens einem Textsegment gemeinsam mit dem Ausdruck t2 vorkommen und weder tj noch t2 entsprechen.
38. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 37 und nach Anspruch 32,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tx, t2) als Produkt des Formelausdrucks Fl und des Formel- ausdrucks F2 aus dem vorhergehenden Anspruch berechnet wird:
I occ _ COn(I] , t2 ) \ I occ - con{tx , t2 ) \ αgw(tλ,t2) =
71OCC(Z1)HoCC(Z2)I |cow(Z,,Z2)|
39. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 38 und nach Anspruch 32,
dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tlf t2) als Produkt aus einem der Formelausdrücke Fl oder F2 aus Anspruch 37 und dem Formelausdruck rel_occ (tlr t2) berechnet wird mit
F3, »/_««(/„/,)= . |QCC(M2)I
VIOCC(Z1)HOCC(Z2)I wobei \occ (ti)\ mit i=l,2 die Gesamtzahl von Textsegmenten in der Menge von Textsegmenten ist, in welchen t2 vorkommt und wobei I occ (tj-, t2) I die Gesamtzahl von Textsegmenten in der Menge von Textsegmenten ist, in welchen tα und t2 gemeinsam vorkommen.
40. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 39 und nach Anspruch 32, dadurch gekennzeichnet, dass der Ähnlichkeitsgewichtswert agw(tχ, t2) als Produkt der Formelausdrücke Fl und F2 aus Anspruch 37 und des Formelausdrucks F3 aus dem vorhergehenden Anspruch berechnet wird, dass also gilt: αgw{tx , t2 ) = rel _ comb{tx , t2 ) =
1 occ _ COwCr1 1 Z2 ) I
Vl OCc(Z1 ) I - I 0CC(Z2 ) I
41. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 40,
dadurch gekennzeichnet, dass mindestens eines der Textsegmente aus der Menge von Textsegmenten ein vollständiges Textdokument ist.
42. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 41,
dadurch gekennzeichnet, dass mindestens eines der Textsegmente aus der Menge von Textsegmenten ein Teil eines Textdokumentes ist.
43. Ähnlichkeitsberechnungsverfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass der Teil ein Kapitel, ein Unterkapitel, ein Textabsatz, ein Satz oder ein zwischen zwei Interpunktionszeichen stehender Satzteil ist oder dass der Teil einer festgelegten Zahl n einzelner, durch Leerzeichen getrennter, aufeinander folgender Ausdrücke oder Wörter des Textdokuments entspricht (Textfenster mit Fensterbreite n) .
44. Ähnlichkeitsberechnungsverfahren nach dem vorhergehenden Anspruch,
dadurch gekennzeichnet, dass
3 < n ≤ 101, bevorzugt 11 ≤ n < 81, bevorzugt 21 ≤ n ≤ 61, bevorzugt 31 ≤ n ≤ 51, besonders bevorzugt π=41 gilt.
45. Ähnlichkeitsberechnungsverfahren nach einem der beiden vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass mindestens zwei der Textsegmente aus der Menge von Textsegmenten sich gegenseitig überlappen, also mindestens einen gemeinsamen Segmentabschnitt aufweisen.
46. Ähnlichkeitsberechnungsverfahren nach einem der Ansprüche 29 bis 45,
dadurch gekennzeichnet, dass
das Vorkommen von Ausdrücken in Textsegmenten ohne Berücksichtigung von Unterschieden in der Groß/Kleinschreibung, bezüglich vorhandener oder nicht vorhandener Bindestriche und/oder von Unterschieden in der Anzahl von Leerzeichen zwischen einzelnen aufeinander folgenden Worten bestimmt wird.
47. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der vorhergehenden Ansprüche zur automatischen, computerbasierten Auswahl von Informationen, Ausdrücken oder Begriffen aus einer Menge von Textdokumenten und/oder Strukturierung von Informationen, Ausdrücken oder Begriffen.
48. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 im Bereich der automatischen, computerbasierten Thesauruskonstruktion und/oder Ontologiekonstruktion.
49. Verwendung nach dem vorhergehenden Anspruch im Bereich des Aufbaus semantischer Beziehungen zwischen Begriffen des Thesaurus und/oder der Ontologie .
50. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 im Bereich der automatischen, computerbasierten Klassifizierung von Textdokumenten.
51. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 im Bereich der automatischen, computerbasierten Abfrageexpansion und/oder Abfrageverfeinerung, insbesondere der vollautomatischen und/oder der teilautomatischen, interaktiven Abfrageexpansion und/oder Abfrageverfeinerung, bei Internet-Suchmaschinen und/oder Datenbank-Suchmaschinen.
52. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 im Bereich des au- tomatischen, computerbasierten Aufbaus eines semantischen Netzes zur Integration verschiedenartiger Textdokument-Datenbanken.
53. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 im Bereich des automatischen, computerbasierten Aufbaus einer Kurzbeschreibung für ein Themengebiet und/oder einer Inhaltszusammenfassung für ein Themengebiet.
54. Verwendung eines Ähnlichkeitsberechnungssystems oder einer Ähnlichkeitsberechnungsmethode nach einem der Ansprüche 1 bis 46 für den automatisierten Aufbau von Integrations- und/oder Suchindizes .
EP06818299A 2005-10-27 2006-10-26 Automatisches, computerbasiertes ähnlichkeitsberechnungssystem zur quantifizierung der ähnlichkeit von textausdrücken Withdrawn EP1941404A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005051617A DE102005051617B4 (de) 2005-10-27 2005-10-27 Automatisches, computerbasiertes Ähnlichkeitsberechnungssystem zur Quantifizierung der Ähnlichkeit von Textausdrücken
PCT/EP2006/010332 WO2007048607A2 (de) 2005-10-27 2006-10-26 Automatisches, computerbasiertes ähnlichkeitsberechnungssystem zur quantifizierung der ähnlichkeit von textausdrücken

Publications (1)

Publication Number Publication Date
EP1941404A2 true EP1941404A2 (de) 2008-07-09

Family

ID=37820638

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06818299A Withdrawn EP1941404A2 (de) 2005-10-27 2006-10-26 Automatisches, computerbasiertes ähnlichkeitsberechnungssystem zur quantifizierung der ähnlichkeit von textausdrücken

Country Status (6)

Country Link
US (1) US20090157656A1 (de)
EP (1) EP1941404A2 (de)
JP (1) JP2009514076A (de)
CN (1) CN101361066A (de)
DE (1) DE102005051617B4 (de)
WO (1) WO2007048607A2 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100530183C (zh) * 2006-05-19 2009-08-19 华为技术有限公司 一种收集用户数据的系统及方法
US8156142B2 (en) * 2008-12-22 2012-04-10 Sap Ag Semantically weighted searching in a governed corpus of terms
US8166051B1 (en) * 2009-02-03 2012-04-24 Sandia Corporation Computation of term dominance in text documents
JP5458880B2 (ja) * 2009-03-02 2014-04-02 富士通株式会社 文書検査装置、コンピュータ読み取り可能な記録媒体および文書検査方法
JP5382651B2 (ja) * 2009-09-09 2014-01-08 独立行政法人情報通信研究機構 単語対取得装置、単語対取得方法、およびプログラム
US8356045B2 (en) * 2009-12-09 2013-01-15 International Business Machines Corporation Method to identify common structures in formatted text documents
CN101908041B (zh) * 2010-05-06 2012-07-04 江苏省现代企业信息化应用支撑软件工程技术研发中心 一种基于多代理机制的多词表达抽取系统及方法
JP2013114383A (ja) * 2011-11-28 2013-06-10 Denso Corp プライバシー保護方法、車両用装置、車両用通信システムおよび携帯端末
JP2013149061A (ja) * 2012-01-19 2013-08-01 Nec Corp 文書類似性評価システム、文書類似性評価方法およびコンピュータ・プログラム
CN102622411A (zh) * 2012-02-17 2012-08-01 清华大学 一种结构化摘要的生成方法
CN102595214A (zh) * 2012-03-06 2012-07-18 浪潮(山东)电子信息有限公司 一种数字电视节目关联推荐的方法
US10691737B2 (en) 2013-02-05 2020-06-23 Intel Corporation Content summarization and/or recommendation apparatus and method
US20160179868A1 (en) * 2014-12-18 2016-06-23 GM Global Technology Operations LLC Methodology and apparatus for consistency check by comparison of ontology models
RU2623902C2 (ru) * 2015-07-13 2017-06-29 Федеральное государственное бюджетное учреждение "4 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Устройство выявления предпочтительного средства защиты информации
CN106649650B (zh) * 2016-12-10 2020-08-18 宁波财经学院 一种需求信息双向匹配方法
CN108804617B (zh) * 2018-05-30 2021-08-10 广州杰赛科技股份有限公司 领域术语抽取方法、装置、终端设备及存储介质
CN111159499B (zh) * 2019-12-31 2022-04-29 南方电网调峰调频发电有限公司 一种基于字符串间相似性的电力系统模型搜索排序方法
CN119720996B (zh) * 2024-11-20 2026-04-21 中国联合网络通信集团有限公司 基于文档的公式确定方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251637B1 (en) * 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
US6757646B2 (en) * 2000-03-22 2004-06-29 Insightful Corporation Extended functionality for an inverse inference engine based web search
JP2002169834A (ja) * 2000-11-20 2002-06-14 Hewlett Packard Co <Hp> 文書のベクトル解析を行うコンピュータおよび方法
US7552385B2 (en) * 2001-05-04 2009-06-23 International Business Machines Coporation Efficient storage mechanism for representing term occurrence in unstructured text documents
US7243092B2 (en) * 2001-12-28 2007-07-10 Sap Ag Taxonomy generation for electronic documents
ATE466345T1 (de) * 2002-01-16 2010-05-15 Elucidon Group Ltd Abruf von informationsdaten, wobei daten in bedingungen, dokumenten und dokument-corpora organisiert sind
US6847966B1 (en) * 2002-04-24 2005-01-25 Engenium Corporation Method and system for optimally searching a document database using a representative semantic space
JP3765801B2 (ja) * 2003-05-28 2006-04-12 沖電気工業株式会社 対訳表現抽出装置、対訳表現抽出方法、および対訳表現抽出プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007048607A2 *

Also Published As

Publication number Publication date
WO2007048607A3 (de) 2007-06-21
CN101361066A (zh) 2009-02-04
WO2007048607A2 (de) 2007-05-03
DE102005051617B4 (de) 2009-10-15
JP2009514076A (ja) 2009-04-02
US20090157656A1 (en) 2009-06-18
DE102005051617A1 (de) 2007-05-03

Similar Documents

Publication Publication Date Title
DE102005051617B4 (de) Automatisches, computerbasiertes Ähnlichkeitsberechnungssystem zur Quantifizierung der Ähnlichkeit von Textausdrücken
DE69829074T2 (de) Identifizierung der sprache und des zeichensatzes aus text-repräsentierenden daten
DE69330633T2 (de) Verfahren und Apparat zum Vergleichen von semantischen Mustern für das Wiederauffinden von Texten
DE69820343T2 (de) Linguistisches Suchsystem
DE69618089T2 (de) Automatische Methode zur Erzeugung von Merkmalwahrscheinlichkeiten für automatische Extraktionszusammenfassung
DE69710458T2 (de) Verfahren und system für die berechnung von semantischen logischen formen von syntaxbäumen
EP1779271B1 (de) Sprach- und textanalysevorrichtung und entsprechendes verfahren
DE102014113870A1 (de) Identifizieren und Anzeigen von Beziehungen zwischen Kandidatenantworten
DE112020003311T5 (de) Verarbeitung natürlicher sprache unter verwendung eines ontologiegestützten modells zur begriffseinbettung
DE102018007024A1 (de) Dokumentdurchsuchen mittels grammatischer einheiten
DE112020002129T5 (de) Deep-learning-ansatz für datenverarbeitungsspannen
DE112020002886T5 (de) Kontextabhängiges data-mining
DE112018005272T5 (de) Suchen von mehrsprachigen dokumenten auf grundlage einer extraktion der dokumentenstruktur
DE112021006602T5 (de) Verfeinern von abfrage-erzeugungsmustern
DE112021001743T5 (de) Vektoreinbettungsmodelle für relationale tabellen mit null- oder äquivalenten werten
DE112020000873T5 (de) Automatisierte auflösung von über- und unterspezifikation in einem wissensgraphen
DE102006040208A1 (de) Patentbezogenes Suchverfahren und -system
Riedl Unsupervised methods for learning and using semantics of natural language
DE202022106616U1 (de) Ein System zur Darstellung und Einordnung von Formeln für die Suche nach mathematischen Informationen
DE102022128157A1 (de) Computerimplementiertes Verfahren zur Standardisierung von Teilenamen
EP1170678B1 (de) Verfahren und Vorrichtung zur automatischen Suche relevanter Bilddatensätze
DE69830524T2 (de) Verfahren und System zur Eliminierung von Mehrdeutigkeiten bei syntaktischen Wortgruppen
DE19859838A1 (de) Verfahren zum rechnergestützten Recherchieren nach Dokumenten in einer elektronischen Datenbank
LU508376B1 (de) Ein verfahren zur extraktion geologischer informationen, eine vorrichtung und ein speichermedium
Piotrowski NLP-supported full-text retrieval

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080227

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KAMPS, THOMAS

Inventor name: CHEN, LIBO

Inventor name: FANKHAUSER, PETER

Inventor name: THIEL, ULRICH

17Q First examination report despatched

Effective date: 20100108

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20100501