EP1779263A1 - Speech and textual analysis device and corresponding method - Google Patents

Speech and textual analysis device and corresponding method

Info

Publication number
EP1779263A1
EP1779263A1 EP04766500A EP04766500A EP1779263A1 EP 1779263 A1 EP1779263 A1 EP 1779263A1 EP 04766500 A EP04766500 A EP 04766500A EP 04766500 A EP04766500 A EP 04766500A EP 1779263 A1 EP1779263 A1 EP 1779263A1
Authority
EP
European Patent Office
Prior art keywords
speech
text
text analysis
data
analysis device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04766500A
Other languages
German (de)
French (fr)
Inventor
Paul WÄLTI
Carlo A. Trugenberger
Frank Cuypers
Christoph P. WÄLTI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Swiss Re AG
Original Assignee
Swiss Reinsurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Swiss Reinsurance Co Ltd filed Critical Swiss Reinsurance Co Ltd
Publication of EP1779263A1 publication Critical patent/EP1779263A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Definitions

  • the invention relates to a system and a method for automated speech and text analysis by forming a search and / or classification catalog, with a linguistic database data records are recorded and classified voice and / or text data according to the data records (keywords and / or search terms) and / or sorted.
  • the invention relates to a computer program product for carrying out this method.
  • the problem of finding and / or cataloging text documents in one or more databases includes, but is not limited to, the following tasks: (1) indexing or cataloging the contents of the documents to be edited (Content Synthesis), (2) performing a search on the indexed and / or cataloged documents (Content Retrieval).
  • the data to be indexed and / or cataloged includes unstructured documents such as text, descriptions, references.
  • the documents may also contain multimedia data such as pictures, voice / audio data, Video data, etc. etc. On the Internet, this can be, for example, data that can be downloaded by means of links from a Web site.
  • US Pat. No. 6,714,939 shows such a method and system for converting plain text or text documents into structured data.
  • the prior art system can be used, in particular, to query and / or find data from a database.
  • Neural networks are known in the art and are e.g. for solving optimization tasks, image recognition (patternrecogition), used in artificial intelligence etc.
  • image recognition patternrecogition
  • a neural network consists of a large number of
  • Network nodes so-called neurons, which are connected to each other via weighted connections (synapses).
  • the neurons are organized and interconnected in network layers.
  • the individual neurons are activated as a function of their input signals and generate a corresponding output signal.
  • the activation of a neuron takes place via an individual weight factor by the summation via the input signals.
  • Such neural networks are capable of learning by the weighting factors are systematically changed in response to predetermined exemplary input and output values until the neural network in a defined predictable error range shows a desired behavior, such. For example, the prediction of output values for future input values.
  • neural networks have adaptive skills for learning and storing knowledge and associative capabilities for comparing new information with stored knowledge.
  • the neurons may enter a sleep state or an arousal state.
  • Each neuron has several inputs and exactly one output, which is connected to the inputs of other neurons of the subsequent network layer or, in the case of an output node, represents a corresponding output value.
  • a neuron enters the excitation state when a sufficient number of the neuron's inputs are energized above a certain threshold of the neuron, ie, if the summation above the inputs reaches a certain threshold.
  • the weights of the inputs of a neuron and in the threshold value of the neuron the knowledge is stored by adaptation. By means of a learning process, the weights of a neural network are trained (see, for example, G.
  • Cybenko "Approximation by Superpositions of a sigmoidal Function", Math. Control, Sig., Syst., 2, 1989, pp 303-314, MT Hagan, MB Menjaj , "Training Feedforward Networks with the Marquardt Algorithm", IEEE Transactions on Neural Networks, Vol. 5, No. 6, pp. 989-993, November 1994; K. Hornik, M. Stinchcombe, H. White, "Multilayer Feedforward Networks universal approximators ", Neural Networks, 2, 1989, pp 359-366, etc.).
  • the learning process of the Unsupervised Learning Neural Nets does not give the NN a desired output pattern.
  • the NN itself tries to achieve as meaningful a representation of the input data as possible.
  • So-called Topological Feature Maps (TFM) known as Kohonen Maps.
  • TFM Topological Feature Maps
  • the network tries to distribute the input data as sensibly as possible to a given number of classes. It is used here as a classifier. With classifiers is tried, one
  • Feature space i. to subdivide a set of input data, as meaningfully as possible into a number of n subgroups. In most cases, the number of subgroups or classes is set in advance. Any number of interpretations can be used for the word "meaningful". For example, a common interpretation for a classifier would be: "Form the classes so that the sum of the distances between the feature vectors and the class centers of the classes to which they are assigned is as small as possible.” Thus, a criterion is introduced which should either be minimized or maximized. The task of the classification algorithm is to make the classification for this criterion and the given input data as short as possible.
  • TFM e.g. Kohonen maps
  • TFM e.g. Kohonen maps
  • They allow a mapping of a high-dimensional feature space into a low-dimensional one while retaining the most important characteristics. They differ from other classes of NN in that in the learning phase to one
  • TFM topological feature map
  • an automated, simple and efficient method is proposed for classifying and / or indexing a multiplicity of speech and / or text data, which are for example accessible via one or more databases, and / or for indexing a search query.
  • the invention is an indexing method for the efficient and reliable thematic search, i. to retrieve documents that are as similar as possible to a given query consisting of an entire textual document or individual keywords.
  • the invention is also intended to provide a clearly defined measure of the objective evaluation of the similarity of two documents in the comparison and ranking of documents.
  • the invention is intended to provide a method for identifying related document clusters, i. of documents that are almost identical (creating different versions of the same document with small changes).
  • a speech and text analysis device a search engine and / or classification catalogs comprising at least one linguistic database for assigning linguistic terms to data records, the linguistic terms comprising at least keywords and / or search terms, and speech and / or text data being classifiable and / or sortable according to the data records, that the speech and text analysis device comprises a taxonomy table with variable taxon nodes based on the linguistic database, wherein one or more data records are assignable to a taxon node in the taxonomy table and wherein each data record has a variable significance factor for rating the terms based at least on filler words and /or
  • Connection words and / or keywords + includes that each taxon node additionally comprises a weight parameter for detecting occurrences of terms within the speech and / or text data to be classified and / or sorted, that the speech and / or text analysis device comprises an integration module for determining a predefinable number
  • the linguistic database may e.g. multilingual data records. This variant has u.a. the advantage of having document collections or, more generally, data e.g. in databases, in particular decentralized databases without human intervention (e.g., not training a network, not preparing a content-specific
  • Taxonomy etc. etc. can be logically grouped. Furthermore, it is easy to create a visual overview of the thematic content of a document collection using a topological map. This device and automated method can thus be regarded as a decisive advance in "table of content” methods.
  • the invention produces a highly reliable and efficient toll for thematic searching (recognition of documents corresponding to a natural language search input) in addition to the conventional search for the prior art by a combination of search terms.
  • search results by means of the projection on the topological and / or geographic map (Map) can be displayed as vividly as so-called “heat map” representation in contrast to the conventional uncategorized list formats.
  • the invention produces a well controllable measure for comparison and / or similarity evaluation of documents. Likewise, the invention generates a true multilingual knowledge management with cross-language search functions. This is not possible in the prior art so far. Finally, the invention also allows automated generation of "descriptors", where descriptors reflect the content characteristics of a document (even with cross-language properties). Thus, the invention generates a
  • Indexing method for efficient and reliable thematic search i. to find documents that are as similar as possible to a given query, consisting of a whole text document or individual keywords.
  • the invention provides a well-defined measure of the objective evaluation of the similarity of two documents when comparing and ranking documents.
  • the invention generates a method for identifying related document clusters, i. of documents that are almost identical (different versions of the same document with small changes).
  • the neural network module comprises at least one or more self-organizing Kohonen maps.
  • This variant has u.a. the same advantages as the previous embodiment.
  • using self-organizing network techniques allows e.g. SOM or Kohonen maps) further automation of the process.
  • the speech and text analysis device comprises an entropy module for determining an entropy parameter which can be stored in a memory module based on the distribution of a data record in the speech and / or text data.
  • the device comprises a hashtable assigned to the linguistic database, wherein linguistically linked data records in the hashtable can be identified by means of a hash value.
  • This variant has u.a. the advantage that linguistically linked data records such as e.g. "common”, “sense” and “common sense” can be found much faster and correspondingly more efficiently.
  • a speech parameter e.g. the data records of a language are assignable and identifiable in the taxonomy table as a synonym.
  • This variant has u.a. the advantage that multilingual text or Pulldate ⁇ are classifiable and / or sortable by means of the speech and text analysis device.
  • the agglomerates form an n-dimensional content space
  • n can be e.g. be equal to 100
  • any other arbitrary natural number may also be meaningful to particular applications.
  • This variant has u.a. the advantage that it allows only an efficient assignment to the self-organizing networks, otherwise the content space has too many degrees of freedom, as that it would still be meaningful, or too little, so that he also has no significance.
  • Text analysesvorrichtu ⁇ g descriptors by means of which definable descriptors corresponding boundary conditions for a topic group can be determined.
  • This embodiment variant has the advantage, among other things, that the documents are brought into the correct global area by the SOM technology.
  • the taxon nodes of the taxonomy table are generated based on a universal, topic-independent linguistic database, the database comprising the universal, topic-independent, linguistic database.
  • This embodiment variant has the advantage, for example, that for the first time a cataloging and / or indexing can be carried out completely automatically based on a taxonomy that is not topic-specific and thus predefinable.
  • Apparatus for carrying out this method relates. Furthermore, it is not limited to the said system and method, but also relates to a computer program product for implementing the method according to the invention.
  • FIG. 1 shows a block diagram which schematically illustrates the method and / or system according to the invention.
  • FIG. 2 likewise shows a block diagram illustrating the use of a device according to the invention in a network with decentralized databases and / or data sources for thematically recording and / or cataloging and / or controlling the data flows on the network.
  • Figure 3 is a block diagram illustrating the structure of a taxonomy table 21.
  • FIG. 4 is a block diagram which schematically illustrates the formation of the agglomeration cluster in the taxonomy table.
  • FIG. 5 is a block diagram schematically illustrating an example of combining an agglomeration cluster in thematic areas.
  • FIG. 6 shows a block diagram which schematically illustrates an information map or Kohonen map.
  • FIG. 7 shows a flowchart which illustrates method steps in the initial analysis of document collections as a so-called text mining step.
  • FIG. 8 shows a scheme for the generation of clusters in a neuron.
  • DocEps corresponds to a determinable tolerance for the maximum of the distance between the members of a cluster.
  • FIG. 1 schematically illustrate an architecture that may be used to implement the invention.
  • FIG. 1 schematically illustrate an architecture that may be used to implement the invention.
  • the language and text analysis device for forming a search and / or classification catalog comprises at least one linguistic database 22 for assigning linguistic terms to data records.
  • the linguistic database 22 may be e.g. also include multilingual data records.
  • the linguistic database 22 may for example be associated with a hashtable, wherein linguistically linked data records in the hashtable can be identified by means of a hash value.
  • speech and text data 10 can be classified and / or sorted according to the data records.
  • the linguistic terms include at least keywords and / or search terms.
  • the voice and / or text data may include general data, such as multimedia data, ie digital data such as text, graphics, images, maps, animations, moving images, video, quicktime, sound recordings, programs (Software), program-accompanying data and hyperlinks or references to multimedia data. These include, for example, MPx (MP3) or MPEGx (MPEG4 or 7) standards, as defined by the Moving Picture Experts Group.
  • the speech and text analysis device comprises a taxonomy
  • Table 21 with variable taxon nodes.
  • One or more data records can be assigned to a taxon node in the taxonomy table 21.
  • Each data record comprises a variable significance factor for rating the terms based at least on filler words and / or connection words and / or keywords.
  • the speech and text analysis device comprises a weighting module 23.
  • Each taxon node is additionally assigned a weighting parameter for detecting occurrences of terms within the language and / or text data 10 to be classified and / or sorted.
  • the speech and / or text analysis device comprises an integration module 24 for determining a predefinable number of agglomerates based on the weighting parameters of the taxon nodes in the taxonomy table 21.
  • An agglomerate comprises at least one taxon node.
  • the agglomerates can form an n-dimensional content space.
  • n may be chosen to be equal to 100, for example.
  • the speech and / or text analysis device comprises at least one neural network module 26 for classifying and / or sorting the speech and / or text data 10 based on the agglomerates in the taxonomy table 21.
  • the neural network module 26 may, for example, comprise at least one topological feature map (FIG. TFM) 1 such as a self-organizing Kohonen map.
  • FFM topological feature map
  • definable descriptors for example, corresponding boundary conditions for a topic group can be determinable.
  • the speech and text analysis device may additionally include, for example, an entropy module 25 for determining an entropy parameter that can be stored in a memory module based on the distribution of a data record in the speech and / or text data 10.
  • the entropy module 25 can be realized, for example, in terms of software and / or hardware.
  • the results, i. the output can e.g. on an output unit 28 for a user e.g. also be represented via a network 40,41, 42.
  • URL Unified Resource Location
  • PDF Portable Document Format
  • Microsoft Word Microsoft Word
  • HTML Hyper Text Markup Language
  • HDML High-held Device Markup Language
  • WML Wireless Markup Language
  • VRML Virtual Reality Modeling Language
  • the axes of the n-dimensional content space depend on the thematic composition and / or internal relationships of the entire speech and / or text data 10 to be analyzed.
  • the axles can usefully be designed so that the relevant
  • Subject areas of the speech and / or text data 10 is reproduced as well as possible and irrelevant background (noise) is not displayed or strongly suppressed.
  • the generation of the axes and the projection are based on the aforementioned linguistic and multilingual database 22, for example, which is assigned to a universal taxonomy or a universal taxonomy tree. Universal means that not even before the cataloging and / or indexing of the text and / or speech data 10 a certain Area must be specified by means of Taxo ⁇ omie. This has not been possible in the prior art so far.
  • Words, terms, and / or terms that appear in a text document are compared to a large list of words stored in the linguistic database 22.
  • terms is meant in this context compound words such as e.g. the terms “nuclear power plant”, “Commision of Human Rights”, “European Patent Office” or “Office europeen des brevets.”
  • the database 22 can of course include for a functioning but also more or less entries.
  • Words / terms with the same meaning can be summarized eg in synonym groups (synsets), for example, for all languages together Synsets are then assigned to a taxon node in the hierarchical taxonomy table or taxonomy tree
  • the distribution of the taxon node hits (entries) for particular language and / or text data 10 or a document to be analyzed is a reliable measure of its thematic content.
  • FIG. 3 shows such a structure of a taxonomy table 21.
  • entries may be structured as follows for each language:
  • Language (0 may for example correspond to one main term within the group per language)
  • window means an opening / window, but “windows” may refer to an opening or operating system.
  • Windows XP on the other hand is unique.
  • Text data 10 may look, for example, as follows: (1) input of a document, ie of speech and / or text data 10; (2) An initial assessment of the document; (3) text editing: i) extraction of the term / term. ii) Comparison with the entries in the linguistic database, taking into account the appropriate language and lexical rules for correct assignment. Generation of the synset and hyperonym code, the significance and language by means of the database, iii) generation of new terms and / or synsets for not found terms or terms. (iv) determination of Frequency of the term / term per document, v) adaptation of the language, if necessary; (4) Assigned storing the information; (5) Next document or next language and / or text data 10.
  • the frequency is calculated for each synset (isyn) and each language and / or text data 10 or document (idoc) based on:
  • Fi s y n (idoc) norm (idoc)] T f word ⁇ sig word , word e isyn
  • f WO rd frequency of the word in idoc
  • norm (idoc) weighted number of terms in idoc
  • the weight is given by sig wor d-
  • the factor norm (idoc) can e.g. be introduced to prevent very large documents from becoming predominant for a particular data compilation.
  • the factor may e.g. determined empirically.
  • the information-theoretical entropy of a synset isyn can thus be determined by:
  • Entropyi syn log (freqsum isyr j - ⁇ F isyn () • log (F iSy "0) / freqsumi syn idoc
  • the relevance of a hyperonym is determined by comparing over all relevance indices the total text and / or speech data 10 to be analyzed to get integrated. This relevance is a measure of the total hit frequency of a taxon node through the entire text and / or speech data 10. This measure indicates which subject area and / or
  • each taxon node can be assigned to an axis in the content space. This would e.g. result in a content space with a dimension greater than 4000, which would correspond to a tremendous overhead and also far too many degrees of freedom for a content determination.
  • the cluster is formed at the driest possible level of the taxonomy tree or the taxonomy table. This method can e.g. be compared with the formation of agglomerates in a demographics.
  • Each cluster (with all the corresponding synsets pointing to it) is assigned to an axis in the n-dimensional content space.
  • Axis n-1 is e.g. used for synsets that do not refer to one of the agglomeration clusters, and the n axes are reserved for numbers.
  • Figure 4 shows schematically the formation of such agglomeration clusters in the taxonomy table.
  • ntop topic areas are formed, each composed of a particular subgroup of agglomeration clusters (ntop may be of the order of 10-20, for example).
  • the agglomerates are formed such that the taxon knots of a Agglomeration cluster, which belongs to the same topic (Topics), have a common parent node in the hierarchy of the taxonomy table.
  • the resulting transformation rule may be as follows: Each synset refers to one of the selected agglomeration clusters, corresponding to an axis in the content space or an axis n-1. In turn, a large number of synsets refer to one of the ntop subject areas at a higher aggregation level.
  • Figure 5 shows an example of combining an agglomeration cluster in subject areas.
  • To project the documents to be analyzed, i. the speech and / or text data 10, to the n-dimensional content space, may e.g. for each document idoc the vector component c, for the i-th axis of the content space are defined by:
  • the unit (metric) for the n-dimensional space is determined by the total entropy of all the synsets pointing to an axis i (vsynsets ⁇ I ⁇ l ), where the total entropy can be determined in an analogous manner as the entropy defined above the Synsets.
  • the weights g, for the i-th component can then be determined, for example, by:
  • Components with a low entropy i.e., with a high distribution effect
  • Components with a high entropy have a correspondingly high weight.
  • Synset relevance value Relev ⁇ For the selection of the most typical descriptors of a document, ie specific speech and / or text data 10, for each sync isyn in Document idoc a Synset relevance value Relev ⁇ Syn be determined, for example by:
  • the m synsets having the highest relevance value Relev syn may be selected as the m descriptors most typical of a document idoc. These descriptors, which may be stored as associated with their respective hyperonyms, are used for cataloging and / or indexing. They include the most important characteristics of a document even in those cases in which the projection on the content space is rendered non-optimal by the content of a specific document.
  • the above-mentioned method based on the mentioned statistical and / or linguistic analysis method is combined with one or more neural network module 26.
  • the statistical and / or linguistic analysis method employs, as described, a comprehensive universal taxonomy. Table 21 for the recognition of the thematic content.
  • SOM Self-Organizing Map
  • a rough compensation method for the group can be used to obtain a reliable initial estimate for the SOM technique. This method can significantly speed up the iteration process and can minimize the risk that the SOM technique will end up in a non-optimal configuration (eg, local minimum).
  • the distance between two vectors (document idoc) a and b for example, can be determined by:
  • KL ⁇ b is the Kullback-Leibler distance between two documents in the following sense, that the assignment of a document idoc is measured by means of a content vector c to a topic jtop with
  • ErrMS is the estimate of the mean square error (deviation) with eg ErrMS ⁇ 10 "5.
  • ⁇ , top For example, it may be interpreted as probabilities that the document idoc belongs to a particular topic jtop.
  • the Kullback-Leibler distance between two documents idoc and kdoc with the content vectors a and b is eg given by jtop
  • the Kullback-Leibler part in the whole distance involves putting the documents in the right global area through the SOM technique.
  • Kullback-Leibler part acts as a boundary condition for the SOM technique.
  • the metric part in the entire distance is responsible for local placement in the individual neurons of a subject area.
  • FIG. 6 shows the result of such an information map or Kohonen map.
  • the documents in a neuron are thus similar to each other in terms of their thematic content.
  • the neurons are grouped so that they are in the global subject area to which they are mainly assigned, and thematically related neurons are close to each other (see Figure 6 with the thematic areas a k).
  • a search query can be, for example, a few search terms or a text document in a natural language.
  • the search text can search the entire contents of a document for similar documents in the indexed and / or cataloged document collection.
  • the search text can also contain only a small part of the relevant document. For this reason, the metric distance between the search text and the documents may not be a reliable criterion for finding the documents closest to the search text.
  • a more reliable measure of comparison and hierarchical values is generated by the scalar product of the content vectors. Such a measure guarantees that the common parts between the search text and the documents are effectively taken into account.
  • DescrSim comprises the weighted sum of different descriptor pairs, where pairs with identical descriptors in the search text and the searched document can be weighted eg at 100 points.
  • pairs with descriptors that point to a common hyperonym may be weighted with 30 points if the common taxon node is the direct taxon node of the descriptors, 10 points if the common taxon node is a hierarchical level above it 3 Points if the common taxon node is two hierarchical levels above and 1 point if the common taxon node is three levels above it.
  • Relevj Syn () as the relevance value of the descriptors in a document, it can be determined that
  • the scalar product in the similarity measure as defined above corresponds to the similarity between a neuron (partial collection of documents) and the search text.
  • DescrSim quantifies the details for the individual documents in a given neuron.
  • the factor "0.01" in the definition of DescrSim can be determined on an empirical basis. It can be determined, for example, such that the cross-position product and the individual extensions (DescrSim) are divided into a balanced form.
  • the comparison method is clear. For example, find the nDoc documents that are closest to a particular search text.
  • the subarea with the neurons with the highest scalar products is searched until the number of selected documents exceeds eg the limit of 3-nDoc.
  • the selected documents are then sorted in descending order according to their similarity values (including the DescrSim extension).
  • the first nDoc documents form the desired document in the scoring order.
  • the selection can be achieved by, for example, using the search index for the individual synsets within a document.
  • the similarity measure defined above may extend from 0 to 2, for example.
  • the transformation into a scoring percentage can be achieved eg with
  • Recognizing document derivatives means identifying clusters of documents whose contents are almost identical. This can e.g. different copies of the same document with small changes, e.g. may apply to patent texts of a patent family whose text and / or scope may vary slightly from country to country.
  • the inventive apparatus and / or method allows the automated identification of document clusters with almost identical documents. It also allows for the ability to suppress older document versions and can be a tool to manage and keep such collections of documents (for example, by means of a regular clean-up).
  • the similarity measure used to compare and / or score the documents for a search text may not provide satisfactory results for discovering such document clusters.
  • the distance becomes measured between two documents idoci and idoc2 with their content vectors a and b
  • DescrDist is the weighted sum of the derivation of the descriptors.
  • determining that matching descriptor pairs of two sets of m descriptors (eg, m 20) do not contribute anything, while mismatched descriptor pairs will be weighted with 1 point if they have a direct common taxon node, with 2 points if they share a common taxon node in own a hierarchical level and 5 points for the remaining cases.
  • Relevi s ynQ as relevance value of the descriptors within a document can be determined eg that
  • DescrDist - : - ⁇ (result for pairs isyn, / isyn 2 ) • Rclev iby ⁇ (idoc,) ⁇ Relev ibyil2 (ido norm pairs
  • the factor "0.1" in the definition of DescDist may e.g. be determined empirically, e.g. by weighting the metric distance and the derivatives of the descriptors in a balanced manner against each other.
  • the constrained SOM algorithm guarantees that the candidates for a given document cluster are placed in the same neuron. In this way clustering can be achieved for each neuron individually.
  • the distance matrix can be determined with DocDist as described above (symmetric matrix with all 0 elements in the diagonal).
  • Figure 8 shows a scheme for the Generation of clusters in a neuron. DocEps corresponds to a determinable tolerance for the maximum of the distance between the members of a cluster.
  • the present invention can be used not only as a speech and text analysis device 20 for forming a search and / or classification catalog.
  • the applications are diverse in every way. So it is e.g. possible, data within one or more networks 40, 41, 42, e.g. the Internet, automated to recognize and assign a territory. This has not been possible in the prior art, as using a universal taxonomy table in
  • the communication networks 40, 41, 42 include, for example, a GSM or a UMTS network, or a satellite-based mobile radio network, and / or one or more fixed networks, for example the public switched telephone network, the worldwide Internet or a suitable Local Area Network (LAN) or WAN (Wide Area Network). In particular, it also includes ISDN and XDSL connections. Users can e.g. with any network-enabled terminals 30, 31, 32, 33, e.g. any CPE (Customer Premise Equipment), personal computer 30, laptop 31, PDA 32, mobile 33, etc., etc., access the one or more networks 40, 41, 42. At the present time, the device can be used e.g.
  • the invention may e.g. also be used to combat terrorism (e.g., early detection of a terrorist act) or combat other crime via the Internet (e.g., Vietnamese, pedophilia, etc).

Abstract

A speech and textual analysis device and method for forming a search and/or classification catalog. The device is based on a linguistic database and includes a taxonomy table containing variable taxon nodes. The speech and textual analysis device includes a weighting module, a weighting parameter being additionally assigned to each stored taxon node to register recurrence frequency of terms in the linguistic and/or textual data that is to be classified and/or sorted. The speech and/or textual analysis device includes an integration module for determining a predefinable number of agglomerates based on the weighting parameters of the taxon nodes in the taxonomy table and at least one neuronal network module for classifying and/or sorting the speech and/or textual data based on the agglomerates in the taxonomy table.

Description

Sprach- und Textanalysevorrichtung und entsprechendes Verfahren Speech and text analysis device and corresponding method
Die Erfindung betrifft ein System und ein Verfahren zur automatisierten Sprach- und Textanalyse mittels Bildung eines Such- und/oder Klassifizierungskataloges, wobei mit einer linguistischen Datenbank Datenrekords erfasst werden und Sprach- und/oder Textdaten nach den Datenrekords (Schlagworten und/oder Suchbegriffen) klassifiziert und/oder sortiert werden. Die Erfindung betrifft insbesondere ein Computerprogrammprodukt zur Durchführung dieses Verfahrens.The invention relates to a system and a method for automated speech and text analysis by forming a search and / or classification catalog, with a linguistic database data records are recorded and classified voice and / or text data according to the data records (keywords and / or search terms) and / or sorted. In particular, the invention relates to a computer program product for carrying out this method.
In den letzten Jahren hat die Bedeutung von grossen Datenbanken, insbesondere dezentralisiert verknüpften Datenbanken z.B. über Netzwerke wie das weltweite Backbone-Netzwerk Internet exponentiell zugenommen. Mehr und mehr Informationen, Waren und/oder Dienste werden über solche Datenbanken oder Netzwerke angeboten. Dies zeigt sich schon in der Omnipresents des Internets heutzutage. Vor allem durch die Verfügbarkeit und Menge solcher Daten haben gerade z.B. im Internet Tools zum Suchen und Finden relevanter Dokumente und/oder zum Klassifizieren gefundener Dokumente eine ungeheure Bedeutung bekommen. Solche Tools für dezentralisierte Datenbankstrukturen oder Datenbanken im Allgemeinen sind bekannt. Im Internet werden dabei häufig von "Search-Engines" gesprochen, wie z.B. die bekannten Google™, Alta Vista™ oder strukturierte vorsortierte Verweistabellen wie z.B. Yahoo™.In recent years, the importance of large databases, in particular decentralized linked databases, has become apparent, for example. has grown exponentially over networks like the global backbone network Internet. More and more information, goods and / or services are offered through such databases or networks. This is already evident in the omnipresents of the internet today. Especially due to the availability and amount of such data have just been. On the Internet, tools for finding and finding relevant documents and / or for classifying found documents are of tremendous importance. Such tools for decentralized database structures or databases in general are known. The Internet is often referred to by "search engines", such as. known Google ™, Alta Vista ™, or structured presorted lookup tables, such as Yahoo ™.
Das Problem beim Suchen und/oder Katalogisieren von Textdokumenten in einer oder mehreren Datenbanken umfasst u.a. die folgenden Aufgaben: (1 ) Indexieren oder Katalogisieren des Inhalts der zu bearbeitenden Dokumente (Content Synthesis), (2) Ausführen einer Suchanfrage über den indexierten und/oder katalogisierten Dokumente (Content Retrieval). Normalerweise umfassen die zu indexierenden und/oder katalogisierenden Daten unstrukturierte Dokumente wie z.B. Text, Beschreibungen, Verweisen. In komplexeren Datenbanken können die Dokumente auch Multimediadaten mit z.B. Bildern, Sprach-/Tondaten, Videodaten etc. etc. Im Internet können dies z.B. Daten sein, die mittels Verweisen (Links) von einer Web-Site herunter geladen werden können.The problem of finding and / or cataloging text documents in one or more databases includes, but is not limited to, the following tasks: (1) indexing or cataloging the contents of the documents to be edited (Content Synthesis), (2) performing a search on the indexed and / or cataloged documents (Content Retrieval). Typically, the data to be indexed and / or cataloged includes unstructured documents such as text, descriptions, references. In more complex databases, the documents may also contain multimedia data such as pictures, voice / audio data, Video data, etc. etc. On the Internet, this can be, for example, data that can be downloaded by means of links from a Web site.
Die US-Patentschrift US 6714939 zeigt ein solches Verfahren und System um reinen Text oder Textdokumente in strukturierte Daten umzuwandeln. Das System des Standes der Technik kann insbesondere dazu genutzt werden, um Daten einer Datenbank abzufragen und/oder zu finden.US Pat. No. 6,714,939 shows such a method and system for converting plain text or text documents into structured data. The prior art system can be used, in particular, to query and / or find data from a database.
Neuronale Netze sind im Stand der Technik bekannt und werden z.B. zum Lösen von Optimierungsaufgaben, Bildererkennung (Patternrecogition), in der künstlichen Intelligenz etc. eingesetzt. Entsprechend biologischer Nervennetze besteht ein neuronales Netzwerk aus einer Vielzahl vonNeural networks are known in the art and are e.g. for solving optimization tasks, image recognition (patternrecogition), used in artificial intelligence etc. According to biological nerve networks, a neural network consists of a large number of
Netzknoten, sog. Neuronen, die über gewichtete Verbindungen (Synapsen) miteinander verbunden sind. Die Neuronen sind in Netzschichten (Layers) organisiert und zusammengeschaltet. Die einzelnen Neuronen werden in Abhängigkeit ihrer Eingangssignale aktiviert und erzeugen ein entsprechendes Ausgangssignal. Die Aktivierung eines Neurons erfolgt über einen individuellen Gewichtsfaktor durch die Summation über die Eingangssignale. Derartige neuronale Netze sind lernfähig, indem die Gewichtsfaktoren in Abhängigkeit von vorgegebenen beispielhaften Eingangs- und Ausgangswerten systematisch so lange verändert werden, bis das neuronale Netz in einem definierten vorhersagbaren Fehlerbereich ein gewünschtes Verhalten zeigt, wie z. B. die Vorhersage von Ausgabewerten für zukünftige Eingangswerte. Damit weisen neuronale Netze adaptive Fähigkeiten zur Erlernung und Speicherung von Wissen und assoziative Fähigkeiten zum Vergleich von neuen Informationen mit gespeichertem Wissen auf. Die Neuronen (Netzknoten) können einen Ruhezustand oder einen Erregungszustand einnehmen. Jedes Neuron hat mehrere Eingänge und genau einen Ausgang, der mit den Eingängen anderer Neuronen der nachfolgenden Netzschicht verbunden ist oder im Falle eines Ausgangsknotens einen entsprechenden Ausgangswert repräsentiert. Ein Neuron geht in den Erregungszustand über, wenn eine genügende Anzahl der Eingänge des Neurons über einem bestimmten Schwellenwert des Neurons erregt sind, d.h. falls die Summation über den Eingängen einen bestimmten Schwellwert erreicht. In den Gewichten der Eingänge eines Neurons und in dem Schwellenwert des Neurons ist das Wissen durch Adaption abgespeichert. Mittels Lernvorgang werden die Gewichte eines neuronalen Netzes trainiert (siehe z.B. G. Cybenko, "Approximation by Superpositions of a sigmoidal function", Math. Control, Sig. Syst., 2, 1989, pp 303-314; MT. Hagan, M.B. Menjaj, "Training Feedforward Networks with the Marquardt Algorithm", IEEE Transactions on Neural Networks, Vol. 5, Nr. 6, pp 989-993, November 1994; K. Hornik, M. Stinchcombe, H. White, "Multilayer Feedforward Networks are universal Approximators", Neural Networks, 2, 1989, pp 359-366 etc.).Network nodes, so-called neurons, which are connected to each other via weighted connections (synapses). The neurons are organized and interconnected in network layers. The individual neurons are activated as a function of their input signals and generate a corresponding output signal. The activation of a neuron takes place via an individual weight factor by the summation via the input signals. Such neural networks are capable of learning by the weighting factors are systematically changed in response to predetermined exemplary input and output values until the neural network in a defined predictable error range shows a desired behavior, such. For example, the prediction of output values for future input values. Thus, neural networks have adaptive skills for learning and storing knowledge and associative capabilities for comparing new information with stored knowledge. The neurons (network nodes) may enter a sleep state or an arousal state. Each neuron has several inputs and exactly one output, which is connected to the inputs of other neurons of the subsequent network layer or, in the case of an output node, represents a corresponding output value. A neuron enters the excitation state when a sufficient number of the neuron's inputs are energized above a certain threshold of the neuron, ie, if the summation above the inputs reaches a certain threshold. In the weights of the inputs of a neuron and in the threshold value of the neuron, the knowledge is stored by adaptation. By means of a learning process, the weights of a neural network are trained (see, for example, G. Cybenko, "Approximation by Superpositions of a sigmoidal Function", Math. Control, Sig., Syst., 2, 1989, pp 303-314, MT Hagan, MB Menjaj , "Training Feedforward Networks with the Marquardt Algorithm", IEEE Transactions on Neural Networks, Vol. 5, No. 6, pp. 989-993, November 1994; K. Hornik, M. Stinchcombe, H. White, "Multilayer Feedforward Networks universal approximators ", Neural Networks, 2, 1989, pp 359-366, etc.).
Im Gegensatz zu Supervised Learning Neural Nets wird beim Lernvorgang der Unsupervised Learning Neural Nets dem NN kein gewünschtes Ausgabemuster vorgegeben. Hier versucht das NN selbst eine möglichst sinnvolle Repräsentation der Eingabedaten zu erreichen. Im Stand der Technik sind z.B. sog. Topological Feature Maps (TFM) wie Kohonen Maps bekannt. Bei den TFM versucht das Netzwerk, die Eingabedaten möglichst sinnvoll auf eine vorgegebene Anzahl von Klassen zu verteilen. Es wird hier also als Klassifikator eingesetzt. Mit Klassifikatoren wird versucht, einenUnlike Supervised Learning Neural Nets, the learning process of the Unsupervised Learning Neural Nets does not give the NN a desired output pattern. Here, the NN itself tries to achieve as meaningful a representation of the input data as possible. In the prior art, e.g. So-called Topological Feature Maps (TFM) known as Kohonen Maps. With the TFM, the network tries to distribute the input data as sensibly as possible to a given number of classes. It is used here as a classifier. With classifiers is tried, one
Merkmalsraum, d.h. eine Menge von Eingabedaten, möglichst sinnvoll in eine Anzahl von n Untergruppen zu unterteilen. In den meisten Fällen ist die Anzahl der Untergruppen oder Klassen im voraus festgelegt. Für das Wort "sinnvoll" können beliebig viele Interpretationen eingesetzt werden. Eine übliche Interpretation für einen Klassifikator wäre beispielsweise: "Bilde die Klassen so, dass die Summe der Abstände zwischen den Merkmalsvektoren und den Klassenmittelpunkten der Klassen, denen sie zugeordnet werden, möglichst gering ist." Es wird also ein Kriterium eingeführt, welches entweder minimiert oder maximiert werden soll. Aufgabe des Klassifikationsalgorithmus ist es, die Klassifikation für dieses Kriterium und die gegebenen Eingabedaten in möglichst geringer Zeit vorzunehmen.Feature space, i. to subdivide a set of input data, as meaningfully as possible into a number of n subgroups. In most cases, the number of subgroups or classes is set in advance. Any number of interpretations can be used for the word "meaningful". For example, a common interpretation for a classifier would be: "Form the classes so that the sum of the distances between the feature vectors and the class centers of the classes to which they are assigned is as small as possible." Thus, a criterion is introduced which should either be minimized or maximized. The task of the classification algorithm is to make the classification for this criterion and the given input data as short as possible.
TFM, wie z.B. Kohonen Maps, ermöglichen eine Abbildung eines hochdimensionalen Merkmalsraumes in einen niederdimensionalen unter Beibehaltung der wichtigsten Charakteristika. Sie unterscheiden sich von anderen Klassen von NN dadurch, dass in der Lernphase zu einemTFM, e.g. Kohonen maps allow a mapping of a high-dimensional feature space into a low-dimensional one while retaining the most important characteristics. They differ from other classes of NN in that in the learning phase to one
Eingabemuster kein explizites oder implizites Ausgabemuster vorgegeben wird. Während der Lernphase von TFMs adaptieren selbige schon die Eigenschaften des verwendeten Merkmalsraumes. Die Verbindung zwischen einem klassischen Klassifikator und einem selbstorganisierenden Neuronalen Netzwerk bzw. einer Topological Feature Map (TFM) besteht darin, dass das Ausgabemuster einer TFM meist aus einem einzelnen erregten Neuron besteht. Das Eingabemuster wird der Klasse des erregten Ausgabeneurons zugeordnet. Bei TFMs, bei denen mehrere Neuronen der Ausgabeschicht erregt sein können, wird zumeist einfach das mit dem höchsten Erregungspegel als Klasse gewertet, der das Eingabemuster zugeordnet wird. Somit wird das kontinuierliche Modell eines Klassifikators, bei dem ein Merkmal zu bestimmten Graden einer Klasse zugeordnet wird, in ein diskretes Modell übergeführt.Input pattern no explicit or implicit output pattern is given. During the learning phase of TFMs they already adapt the characteristics of the used feature space. The connection between a classical classifier and a self-organizing neural network or a topological feature map (TFM) is that the output pattern of a TFM consists mostly of a single excited neuron. The input pattern is assigned to the class of the excited output neuron. For TFMs where multiple neurons of the output layer can be excited, it is usually simply the one with the highest excitation level that is rated as the class to which the input pattern is assigned. Thus, the continuous model of a classifier, where a feature is assigned to particular grades of a class, is transformed into a discrete model.
Es ist eine Aufgabe dieser Erfindung, ein neues System und automatisiertes Verfahren zur Bildung eines Such- und/oder Klassifizierungskataloges vorzuschlagen, das die oben genannten Nachteile des Standes der Technik nicht aufweist. Insbesondere soll ein automatisiertes, einfaches und rationelles Verfahren vorgeschlagen werden, um ein eine Vielzahl von Sprach- und/oder Textdaten, welche beispielsweise über eine oder mehrere Datenbanken zugreifbar abgespeichert sind zu klassifizieren und/oder zu sortieren und/oder für eine Suchabfrage zu indexieren. Die Erfindung soll ein Indexizierungsverfahren für die effiziente und zuverlässige thematische Suche, d.h. für das Auffinden von Dokumenten, die einer gegebenen Abfrage, bestehend aus einem ganzen Textdokument oder aus einzelnen Stichwörtern, möglichst ähnlich sind, erzeugen. Die Erfindung soll weiter ein klar definiertes Mass für die objektive Bewertung der Ähnlichkeit zweier Dokumente beim Vergleich und beim Ranking von Dokumenten erzeugen. Zusätzlich soll die Erfindung ein Verfahren zur Identifikation von zusammengehörigen Dokument- Clustern, d.h. von Dokumenten, die beinahe identisch sind (verschiedene Versionen des gleichen Dokuments mit kleinen Änderungen) erzeugen.It is an object of this invention to propose a new system and automated method for forming a search and / or classification catalog that does not have the above-mentioned disadvantages of the prior art. In particular, an automated, simple and efficient method is proposed for classifying and / or indexing a multiplicity of speech and / or text data, which are for example accessible via one or more databases, and / or for indexing a search query. The invention is an indexing method for the efficient and reliable thematic search, i. to retrieve documents that are as similar as possible to a given query consisting of an entire textual document or individual keywords. The invention is also intended to provide a clearly defined measure of the objective evaluation of the similarity of two documents in the comparison and ranking of documents. In addition, the invention is intended to provide a method for identifying related document clusters, i. of documents that are almost identical (creating different versions of the same document with small changes).
Gemäss der vorliegenden Erfindung wird dieses Ziel insbesondere durch die Elemente der unabhängigen Ansprüche erreicht. Weitere vorteilhafte Ausführungsformen gehen ausserdem aus den abhängigen Ansprüchen und der Beschreibung hervor.According to the present invention, this object is achieved in particular by the elements of the independent claims. Further advantageous embodiments are also evident from the dependent claims and the description.
Insbesondere werden diese Ziele durch die Erfindung dadurch erreicht, dass mittels einer Sprach- und Textanalysevorrichtung ein Such- und/oder Klassifizierungskataloge gebildet wird, welcher mindestens eine linguistische Datenbank zum Zuordnen von linguistischen Begriffen zu Datenrekords umfasst, wobei die linguistischen Begriffe mindestens Schlagworte und/oder Suchbegriffe umfassen, und Sprach- und/oder Textdaten entsprechend der Datenrekords klassifizierbar und/oder sortierbar sind, dass die Sprach- und Textanalysevorrichtung eine Taxonomie-Table mit variablen Taxonknoten basierend auf der linguistische Datenbank umfasst, wobei ein oder mehrere Datenrekords einem Taxonknoten in der Taxonomie-Table zuordbar sind und wobei jeder Datenrekord einen variablen Signifikanzfaktor zur Wertung der Begriffe basierend mindestens auf Füllworten und/oderIn particular, these objects are achieved by the invention in that by means of a speech and text analysis device a search engine and / or classification catalogs comprising at least one linguistic database for assigning linguistic terms to data records, the linguistic terms comprising at least keywords and / or search terms, and speech and / or text data being classifiable and / or sortable according to the data records, that the speech and text analysis device comprises a taxonomy table with variable taxon nodes based on the linguistic database, wherein one or more data records are assignable to a taxon node in the taxonomy table and wherein each data record has a variable significance factor for rating the terms based at least on filler words and /or
Verbindungsworten und/oder Schlagworten+ umfasst, dass jeder Taxonknoten zusätzlich einen Gewichtsparameter zum Erfassen von Auftrethäufigkeiten von Begriffen innerhalb der zu klassifizierenden und/oder sortierenden Sprach- und/oder Textdaten umfasst, dass die Sprach- und/oder Textanalysevorrichtung ein Integrationsmodul zum Bestimmen einer vordefinierbaren AnzahlConnection words and / or keywords + includes that each taxon node additionally comprises a weight parameter for detecting occurrences of terms within the speech and / or text data to be classified and / or sorted, that the speech and / or text analysis device comprises an integration module for determining a predefinable number
Agglomerate basierend auf den Gewichtsparametern der Taxonknoten in der Taxonomie-Table umfasst, wobei ein Agglomerat mindestens ein Taxonknoten umfasst, und dass die Sprach- und/oder Textanalysevorrichtung mindestens ein neuronales Netzwerkmodul zum Klassifizieren und/oder Sortieren der Sprach- und/oder Textdaten basierend auf den Agglomeraten in der Taxonomie-Table umfasst. Die linguistische Datenbank kann z.B. mehrsprachige Datenrekords umfassen. Diese Ausführungsvariante hat u.a. den Vorteil, dass Dokumenten Sammlungen oder ganz allgemein Daten z.B. in Datenbanken, insbesondere dezentralisierten Datenbanken ohne menschliche Intervention (z.B. kein Trainieren eines Netzwerkes, kein Vorbereiten einer inhaltsspezifischenAgglomerates based on the weighting parameters of the taxon nodes in the taxonomy table, wherein an agglomerate comprises at least one taxon node, and that the speech and / or text analysis device comprises at least one neural network module for classifying and / or sorting the speech and / or text data based on comprises the agglomerates in the taxonomy table. The linguistic database may e.g. multilingual data records. This variant has u.a. the advantage of having document collections or, more generally, data e.g. in databases, in particular decentralized databases without human intervention (e.g., not training a network, not preparing a content-specific
Taxonomie etc. etc.) logisch gruppiert werden können. Weiter kann einfach ein visueller Überblick über den thematischen Inhalt einer Dokumentensammlung mittels einer topologischen Karte erstellt werden. Diese Vorrichtung und automatisiertes Verfahren kann damit als ein entscheidender Fortschritt bei "table of content" Verfahren gewertet werden. Insbesondere erzeugt die Erfindung ein äusserst zuverlässiges und effizientes Toll für thematisches Suchen (Erkennung von Dokumenten entsprechend einer Sucheingabe in natürlicher Sprache) zusätzlich zum konventionellen Suchen des Standes der Technik mittels einer Kombination von Suchbegriffen. Insbesondere können Suchresultate mittels der Projektion auf die topologische und/oder geographische Karte (Map) einfachst anschaulich dargestellt werden als sog. "heat map" Darstellung im Gegensatz zu den konventionellen unkategorisierten Listenformaten. Weiter erzeugt die Erfindung ein gut kontrollierbares Mass zum Vergleich und/oder Ähnlichkeitswertung von Dokumenten. Ebenso erzeugt die Erfindung ein echtes mehrsprachiges Wissensmanagement mit sprachübergreifenden Suchfunktionen. Dies ist im Stande der Technik so bis jetzt nicht möglich. Schlussendlich erlaubt die Erfindung auch ein automatisiertes Generieren von "Deskriptoren", wobei Deskriptoren die Inhaltscharakteristik eines Dokumentes (auch mit cross-language Eigenschaften) wiedergeben. Damit erzeugt die Erfindung einTaxonomy etc. etc.) can be logically grouped. Furthermore, it is easy to create a visual overview of the thematic content of a document collection using a topological map. This device and automated method can thus be regarded as a decisive advance in "table of content" methods. In particular, the invention produces a highly reliable and efficient toll for thematic searching (recognition of documents corresponding to a natural language search input) in addition to the conventional search for the prior art by a combination of search terms. In particular, search results by means of the projection on the topological and / or geographic map (Map) can be displayed as vividly as so-called "heat map" representation in contrast to the conventional uncategorized list formats. Furthermore, the invention produces a well controllable measure for comparison and / or similarity evaluation of documents. Likewise, the invention generates a true multilingual knowledge management with cross-language search functions. This is not possible in the prior art so far. Finally, the invention also allows automated generation of "descriptors", where descriptors reflect the content characteristics of a document (even with cross-language properties). Thus, the invention generates a
Indexizierungsverfahren für die effiziente und zuverlässige thematische Suche, d.h. für das Auffinden von Dokumenten, die einer gegebenen Abfrage, bestehend aus einem ganzen Textdokument oder aus einzelnen Stichwörtern, möglichst ähnlich sind. Ebenso erzeugt die Erfindung ein klar definiertes Mass für die objektive Bewertung der Ähnlichkeit zweier Dokumente beim Vergleich und beim Ranking von Dokumenten. Zusätzlich erzeugt die Erfindung ein Verfahren zur Identifikation von zusammengehörigen Dokument-Clustern, d.h. von Dokumenten, die beinahe identisch sind (verschiedene Versionen des gleichen Dokuments mit kleinen Änderungen).Indexing method for efficient and reliable thematic search, i. to find documents that are as similar as possible to a given query, consisting of a whole text document or individual keywords. Likewise, the invention provides a well-defined measure of the objective evaluation of the similarity of two documents when comparing and ranking documents. In addition, the invention generates a method for identifying related document clusters, i. of documents that are almost identical (different versions of the same document with small changes).
In einer Ausführungsvariante umfasst das neuronale Netzwerkmodul mindestens eine oder mehrere sebst-organisierende Kohonen-Maps. Diese Ausführungsvariante hat u.a. die gleichen Vorteile wie die vorhergehende Ausführungsvariante. Zusätzlich erlaubt das Verwenden von selbst¬ organisierenden Netzwerktechniken z.B. SOM bzw. Kohonen-Maps) eine weitere Automatisierung des Verfahrens.In one embodiment, the neural network module comprises at least one or more self-organizing Kohonen maps. This variant has u.a. the same advantages as the previous embodiment. In addition, using self-organizing network techniques allows e.g. SOM or Kohonen maps) further automation of the process.
In einer anderen Ausführungsvariante umfasst die Sprach- und Textanalysevorrichtung ein Entropiemodul zur Bestimmung eines in einem Speichermodul abspeicherbaren Entropieparameters basierend auf der Verteilung eines Datenrekords in den Sprach- und/oder Textdaten. Der Entropieparameter kann z.B. durch EntropieDR = ln(freqsumDR) - Σ FDR ln(FDR)/freqsumDR gegeben sein. Diese Ausführungsvariante hat u.a. den Vorteil, dass ein zusätzlicher Relevanzparameter bestimmt werden kann. Ein Begriff, der weit verstreut über alle Sprach- und/oder Textdaten bzw. über alle Dokumente erscheint, hat eine grosse „Entropie" und wird wenig zur Unterscheidung der Dokumente beitragen. Damit kann die Entropie wesentlich zur Effizienz der erfindungsgemässen Vorrichtung bzw. Verfahrens beitragen.In another embodiment variant, the speech and text analysis device comprises an entropy module for determining an entropy parameter which can be stored in a memory module based on the distribution of a data record in the speech and / or text data. The entropy parameter can be given, for example, by entropy D R = ln (freqsum D R) -Σ F D R ln (F D R) / freqsum D R. This embodiment variant has the advantage, inter alia, that an additional relevance parameter can be determined. A term that is widely scattered across all language and / or textual data or about all Documents appears, has a large "entropy" and will contribute little to the distinction of the documents.Thus, the entropy can significantly contribute to the efficiency of the inventive device or method.
In einer wieder anderen Ausführungsvariante umfasst die Vorrichtung eine der linguistischen Datenbank zugeordnete Hashtable, wobei mittels eines Hash-Wertes linguistisch verknüpfte Datenrekords in der Hashtable identifizierbar sind. Diese Ausführungsvariante hat u.a. den Vorteil, dass linguistisch verknüpfte Datenrekords wie z.B. "common", "sense" und "common sense" viel schneller und entsprechend effizienter gefunden werden können.In yet another embodiment variant, the device comprises a hashtable assigned to the linguistic database, wherein linguistically linked data records in the hashtable can be identified by means of a hash value. This variant has u.a. the advantage that linguistically linked data records such as e.g. "common", "sense" and "common sense" can be found much faster and correspondingly more efficiently.
In einer weiteren Ausführungsvariante können mittels eines Sprachparameters z.B. die Datenrekords einer Sprache zuordbar sein und in der Taxonomie-Table als Synonym kennzeichenbar sein. Diese Ausführungsvariante hat u.a. den Vorteil, dass mittels der Sprach- und Textanalysevorrichtung auch mehrsprachige Text- oder Sprachdateπ klassifizierbar und/oder sortierbar sind.In a further embodiment, by means of a speech parameter, e.g. the data records of a language are assignable and identifiable in the taxonomy table as a synonym. This variant has u.a. the advantage that multilingual text or Sprachdateπ are classifiable and / or sortable by means of the speech and text analysis device.
In einer Ausführungsvariante bilden die Agglomerate einen n- dimensionalen Inhaltsraum, n kann z.B. gleich 100 sein. Es ist jedoch darauf hinzuweisen, dass jede andere beliebige natürliche Zahl ebenso für bestimmte Anwendungen sinnvoll sein kann. Diese Ausführungsvariante hat u.a. den Vorteil, dass es erst eine effiziente Zuordnung zu den selbstorganisierenden Netzwerken erlaubt, da ansonsten der Inhaltsraum zu viele Freiheitsgrade besitzt, als dass er noch aussagekräftig wäre, oder zu wenig, so dass er ebenfalls keine Aussagekraft mehr hat.In one embodiment, the agglomerates form an n-dimensional content space, n can be e.g. be equal to 100 It should be noted, however, that any other arbitrary natural number may also be meaningful to particular applications. This variant has u.a. the advantage that it allows only an efficient assignment to the self-organizing networks, otherwise the content space has too many degrees of freedom, as that it would still be meaningful, or too little, so that he also has no significance.
In einer anderen Ausführungsvariante umfasst die Sprach- undIn another embodiment variant includes the language and
Textanalysevorrichtuπg Deskriptoren, mittels welcher definierbaren Deskriptoren entsprechende Randbedingungen für einen Themenkreis bestimmbar sind. Diese Ausführungsvariante hat u.a. den Vorteil, dass die Dokumente ins richtige globale Gebiet durch die SOM-Technik gebracht werden. In einer weiteren Ausführungsvariante werden die Taxonknoten der Taxonomie-Table basierend auf einer universellen, themenunabhängigen linguistische Datenbank erzeugt, wobei die Datenbank die universelle, themenunabhängige, linguistische Datenbank umfasst. Diese Ausführungsvariante hat u.a. den Vorteil, dass erstmals eine Katalogisierung und/oder Indexierung basierend auf einer nicht themenspezifischen und damit vorzudefinierenden Taxonomie vollständig automatisiert durchgeführt werden kann.Textanalysevorrichtuπg descriptors, by means of which definable descriptors corresponding boundary conditions for a topic group can be determined. This embodiment variant has the advantage, among other things, that the documents are brought into the correct global area by the SOM technology. In a further embodiment, the taxon nodes of the taxonomy table are generated based on a universal, topic-independent linguistic database, the database comprising the universal, topic-independent, linguistic database. This embodiment variant has the advantage, for example, that for the first time a cataloging and / or indexing can be carried out completely automatically based on a taxonomy that is not topic-specific and thus predefinable.
An dieser Stelle soll festgehalten werden, dass sich die vorliegende Erfindung neben dem erfindungsgemässen Verfahren auch auf eineAt this point, it should be noted that the present invention, in addition to the inventive method on a
Vorrichtung zur Ausführung dieses Verfahrens bezieht. Ferner beschränkt es sich nicht auf das genannte System und Verfahren, sondern bezieht sich ebenso auf ein Computerprogrammprodukt zur Realisierung des erfindungsgemässen Verfahrens.Apparatus for carrying out this method relates. Furthermore, it is not limited to the said system and method, but also relates to a computer program product for implementing the method according to the invention.
Nachfolgend werden Ausführungsvarianten der vorliegenden Erfin¬ dung anhand von Beispielen beschrieben. Die Beispiele der Ausführungen werden durch folgende beigelegte Figuren illustriert:Embodiments of the present invention will be described below by way of examples. The examples of the embodiments are illustrated by the following enclosed figures:
Figur 1 zeigt ein Blockdiagramm, welches schematisch das erfindungsgemässe Verfahren und/oder System illustriert.FIG. 1 shows a block diagram which schematically illustrates the method and / or system according to the invention.
Figur 2 zeigt ebenfalls ein Blockdiagramm, welches die Verwendung einer erfindungsgemässen Vorrichtung in einem Netzwerk mit dezentralisierten Datenbanken und/oder Datenquellen zur thematischen Erfassung und/oder Katalogisierung und/oder Kontrolle der Datenflüsse auf dem Netzwerk illustriert.FIG. 2 likewise shows a block diagram illustrating the use of a device according to the invention in a network with decentralized databases and / or data sources for thematically recording and / or cataloging and / or controlling the data flows on the network.
Figur 3 zeigt ein Blockdiagramm, welches die Struktur einer Taxonomie-Table 21 illustriert.Figure 3 is a block diagram illustrating the structure of a taxonomy table 21.
Figur 4 zeigt ein Blockdiagramm, welches schematisch die Bildung vom Agglomerationscluster in der Taxonomie-Table illustriert. Figur 5 zeigt ein Blockdiagramm, welches schematisch ein Beispiel des Kombinierens eines Agglomerationsclusters in Themengebiete illustriert.Figure 4 is a block diagram which schematically illustrates the formation of the agglomeration cluster in the taxonomy table. FIG. 5 is a block diagram schematically illustrating an example of combining an agglomeration cluster in thematic areas.
Figur 6 zeigt ein Blockdiagramm, welches schematisch einen Informations-Map bzw. Kohonen-Map illustriert. Mittels der SOM-Technik mit Randbedingungen werden die zu analysierenden Dokumente, d.h. also die gesamten Text- und/oder Sprachdaten 10, durch das neuronale Netzwerkmodul 26 in ein 2-dimensionales Array von Neuronen (= Informations-Map) gruppiert.FIG. 6 shows a block diagram which schematically illustrates an information map or Kohonen map. By means of the constrained SOM technique, the documents to be analyzed, i. that is, the entire text and / or speech data 10, grouped by the neural network module 26 into a 2-dimensional array of neurons (= information map).
Figur 7 zeigt ein Flussdiagramm, welches Verfahrensschritte bei der initialen Analysis von Dokumentensammlungen illustriert als sog. Text Mining Step.FIG. 7 shows a flowchart which illustrates method steps in the initial analysis of document collections as a so-called text mining step.
Figur 8 zeigt ein Schema für die Generierung von Cluster in einem Neuron. DocEps entspricht einer bestimmbaren Toleranz für das Maximum der Distanz zwischen den Mitgliedern eines Clusters.FIG. 8 shows a scheme for the generation of clusters in a neuron. DocEps corresponds to a determinable tolerance for the maximum of the distance between the members of a cluster.
Figuren 1 bis 6 illustrieren schematisch eine Architektur, die zur Realisierung der Erfindung verwendet werden kann. In diesemFigures 1 to 6 schematically illustrate an architecture that may be used to implement the invention. In this
Ausführungsbeispiel umfasst die Sprach- und Textanalysevorrichtung zur Bildung eines Such- und/oder Klassifizierungskataloges mindestens eine linguistische Datenbank 22 zum Zuordnen von linguistischen Begriffen zu Datenrekords. Die linguistische Datenbank 22 kann z.B. auch mehrsprachige Datenrekords umfassen. Mittels eines Sprachparameters können dieIn the exemplary embodiment, the language and text analysis device for forming a search and / or classification catalog comprises at least one linguistic database 22 for assigning linguistic terms to data records. The linguistic database 22 may be e.g. also include multilingual data records. By means of a language parameter, the
Datenrekords einer Sprache zuordenbar sein und z.B. in der Taxonomie-Table 21 als Synonym kennzeichenbar sein. Der linguistischen Datenbank 22 kann z.B. eine Hashtable zugeordnet sein, wobei mittels eines Hash-Wertes linguistisch verknüpfte Datenrekords in der Hashtable identifizierbar sind. Mittels der Sprach- und Textanalysevorrichtung sind Sprach- und/oder Textdaten 10 entsprechend der Datenrekords klassifizierbar und/oder sortierbar. Die linguistischen Begriffe umfassen mindestens Schlagworte und/oder Suchbegriffe. Es ist wichtig darauf hinzuweisen, dass die Sprach- und/oder Textdaten auch Daten ganz allgemeiner Art, wie z.B. Multimediadaten umfassen können, d.h. u.a. digitale Daten wie Texte, Graphiken, Bilder, Karten, Animationen, bewegte Bilder, Video, Quicktime, Tonaufnahmen, Programme (Software), programmbegleitende Daten und Hyperlinks oder Verweise auf Multimediadaten. Dazu gehören z.B. auch MPx (MP3) oder MPEGx (MPEG4 oder 7) Standards, wie sie durch die Moving Picture Experts Group definiert werden.Data records of a language be assignable and eg in the taxonomy Table 21 be identifiable as a synonym. The linguistic database 22 may for example be associated with a hashtable, wherein linguistically linked data records in the hashtable can be identified by means of a hash value. By means of the speech and text analysis device, speech and / or text data 10 can be classified and / or sorted according to the data records. The linguistic terms include at least keywords and / or search terms. It is important to note that the voice and / or text data may include general data, such as multimedia data, ie digital data such as text, graphics, images, maps, animations, moving images, video, quicktime, sound recordings, programs (Software), program-accompanying data and hyperlinks or references to multimedia data. These include, for example, MPx (MP3) or MPEGx (MPEG4 or 7) standards, as defined by the Moving Picture Experts Group.
Die Sprach- und Textanalysevorrichtung umfasst eine Taxonomie-The speech and text analysis device comprises a taxonomy
Table 21 mit variablen Taxonknoten. Ein oder mehrere Datenrekords sind einem Taxonknoten in der Taxonomie-Table 21 zuordbar. Jeder Datenrekord umfasst einen variablen Signifikanzfaktor zur Wertung der Begriffe basierend mindestens auf Füllworten und/oder Verbindungsworten und/oder Schlagworten. Die Sprach- und Textanalysevorrichtung umfasst ein Gewichtungsmodul 23. Jedem Taxonknoten ist zusätzlich ein Gewichtungsparameter zum Erfassen von Auftrethäufigkeiten von Begriffen innerhalb der zu klassifizierenden und/oder sortierenden Sprach- und/oder Textdaten 10 zugeordnet abgespeichert. Die Sprach- und/oder Textanalysevorrichtung umfasst ein Integrationsmodul 24 zum Bestimmen einer vordefinierbaren Anzahl Agglomerate basierend auf den Gewichtungsparametern der Taxonknoten in der Taxonomie-Table 21. Ein Agglomerat umfasst mindestens ein Taxonknoten. Die Agglomerate können z.B. einen n-dimensionalen Inhaltsraum bilden. Als Ausführungsbeispiel kann n z.B. gleich 100 gewählt sein. Die Sprach- und/oder Textaπalysevorrichtung umfasst mindestens ein neuronales Netzwerkmodul 26 zum Klassifizieren und/oder Sortieren der Sprach- und/oder Textdaten 10 basierend auf den Agglomeraten in der Taxonomie-Table 21. Das neuronale Netzwerkmodul 26 kann z.B. mindestens eine Topological Feature Map (TFM)1 wie beispielsweise eine selbst-organisierende Kohonen-Map umfassen. Mittels definierbaren Deskriptoren können z.B. entsprechende Randbedingungen für einen Themenkreis bestimmbar sein.Table 21 with variable taxon nodes. One or more data records can be assigned to a taxon node in the taxonomy table 21. Each data record comprises a variable significance factor for rating the terms based at least on filler words and / or connection words and / or keywords. The speech and text analysis device comprises a weighting module 23. Each taxon node is additionally assigned a weighting parameter for detecting occurrences of terms within the language and / or text data 10 to be classified and / or sorted. The speech and / or text analysis device comprises an integration module 24 for determining a predefinable number of agglomerates based on the weighting parameters of the taxon nodes in the taxonomy table 21. An agglomerate comprises at least one taxon node. For example, the agglomerates can form an n-dimensional content space. As an example, n may be chosen to be equal to 100, for example. The speech and / or text analysis device comprises at least one neural network module 26 for classifying and / or sorting the speech and / or text data 10 based on the agglomerates in the taxonomy table 21. The neural network module 26 may, for example, comprise at least one topological feature map (FIG. TFM) 1 such as a self-organizing Kohonen map. By means of definable descriptors, for example, corresponding boundary conditions for a topic group can be determinable.
Die Sprach- und Textanalysevorrichtung kann zusätzlich z.B. ein Entropiemodul 25 zur Bestimmung eines in einem Speichermodul abspeicherbaren Entropieparameters basierend auf der Verteilung eines Datenrekords in den Sprach- und/oder Textdaten 10 umfassen. Das Entropiemodul 25 kann z.B. softwaremässig und/oder hardwaremässig realisiert sein. Der Entropieparameter kann beispielsweise durch EπtropiβDR = ln(freqsumDR) - Σ FDR ln(FDR)/freqsumDRThe speech and text analysis device may additionally include, for example, an entropy module 25 for determining an entropy parameter that can be stored in a memory module based on the distribution of a data record in the speech and / or text data 10. The entropy module 25 can be realized, for example, in terms of software and / or hardware. The entropy parameter can, for example, by EπtropiβDR = ln (freqsum D R) - Σ F D R ln (F D R) / freqsumDR
gegeben sein. Die Resultate, d.h. der Output kann z.B. auf einer Ausgabeeinheit 28 für einen Benutzer z.B. auch über ein Netzwerk 40,41 ,42 dargestellt werden.be given. The results, i. the output can e.g. on an output unit 28 for a user e.g. also be represented via a network 40,41, 42.
Für die Analysis und Suchfunktionen können die zu analysierendenFor analysis and search functions can be analyzed
Text- oder Sprachdaten, wie z.B. ein reines Textdokument, in die folgenden Komponenten aufgeteilt werden: a) Ein n-dimensionaler Vektor zum Charakterisieren des thematischen Inhalts des Dokumentes, n kann z.B. als n = 100 gewählt sein; b) m Deskriptoren, welche charakteristisch für ein Dokument sind und Randbedingungen bei der Optimierung stellen. Die Zahl derText or voice data, such as a pure text document into which the following components are divided: a) An n-dimensional vector for characterizing the thematic content of the document, n can be e.g. be chosen as n = 100; b) m Descriptors which are characteristic for a document and provide boundary conditions for the optimization. The number of
Deskriptoren kann z.B. m = 20 sein; c) Ein Set von Metadaten, die automatisch aus dem Dokument extrahiert werden können, d.h. z.B. Titel des Dokumentes, Autor, Erstellungsdatum des Dokumentes, Ort bzw. Adresse des Dokumentes wie eine URL (Unified Resource Location), File-Format (PDF (Portable Document Format), Microsoft Word, HTML (Hyper Text Markup Language), HDML (Handheld Device Markup Language), WML (Wireless Markup Language) VRML (Virtual Reality Modeling Language), XML (Extensible Markup Language), JPEG (Joint Photographic Experts Group) etc.), MPEG (Moving Picture Experts Group), Anzahl Worte und/oder Begriffe, Anzahl integer und/oder rationaler Zahlen, Sprache der Mehrheit der Begriffe im Dokument, zusätzliche Regeln oder Charakteristiken etc..Descriptors may e.g. m = 20; c) A set of metadata that can be automatically extracted from the document, i. e.g. Title of the document, author, creation date of the document, location or address of the document such as a URL (Unified Resource Location), File Format (Portable Document Format (PDF), Microsoft Word, Hyper Text Markup Language (HTML), HDML (Handheld Device Markup Language), WML (Wireless Markup Language) Virtual Reality Modeling Language (VRML), Extensible Markup Language (XML), Joint Photographic Experts Group (JPEG), etc.), MPEG (Moving Picture Experts Group), Number of Words and / or Terms, number of integer and / or rational numbers, language of the majority of terms in the document, additional rules or characteristics etc ..
Die Achsen des n-dimensionalen Inhaltsraums hängen von der thematischen Zusammenstellung und/oder inneren Zusammenhängen der gesamten zu analysierenden Sprach- und/oder Textdaten 10 ab. Die Achsen können sinnvollerweise so konstruiert sein, dass die relevantenThe axes of the n-dimensional content space depend on the thematic composition and / or internal relationships of the entire speech and / or text data 10 to be analyzed. The axles can usefully be designed so that the relevant
Themenbereiche der Sprach- und/oder Textdaten 10 so gut wie möglich wiedergegeben wird und irrelevanter Hintergrund (Noise) nicht dargestellt wird oder stark unterdrückt wird. Das Generieren der Achsen und die Projektion basieren auf der erwähnten linguistischen und z.B. mehrsprachigen Datenbank 22, die einer universellen Taxonomie bzw. einem universellen Taxonomie-Baum zugeordnet ist. Universell heisst, dass nicht bereits vor der Katalogisierung und/oder Indexierung der Text- und/oder Sprachdaten 10 ein bestimmtes Gebiet mittels der Taxoπomie vorgegeben werden muss. Dies war im Stand der Technik bis jetzt nicht so möglich.Subject areas of the speech and / or text data 10 is reproduced as well as possible and irrelevant background (noise) is not displayed or strongly suppressed. The generation of the axes and the projection are based on the aforementioned linguistic and multilingual database 22, for example, which is assigned to a universal taxonomy or a universal taxonomy tree. Universal means that not even before the cataloging and / or indexing of the text and / or speech data 10 a certain Area must be specified by means of Taxoπomie. This has not been possible in the prior art so far.
Worte, Begriffe und/oder Terme, die in einem Textdokument auftreten, werden mit einer grossen Liste von Worten verglichen, die in der linguistischen Datenbank 22 gespeichert sind. Unter "Terme" sollen in diesem Zusammenhang zusammengesetzte Worte wie z.B. die Begriffe "nuclear power plant", "Commision of Human Rights", "Europäisches Patentamt" oder Office europeen des brevets" verstanden werden. Im Ausführungsbeispiel für so eine linguistische Datenbank 22 wurden 2.2 Millionen Einträge als genügend gefunden für die Sprachen Englisch, Französisch, Deutsch und Italienisch, die Datenbank 22 kann natürlich für ein Funktionieren aber auch beliebig mehr oder weniger Einträge umfassen. Worte/Terme mit der gleichen Bedeutung (Synonyme) können z.B. in Synonym Gruppen (Synsets) zusammengefasst werden, beispielsweise auch für alle Sprachen gemeinsam. Diese Synsets werden dann einem Taxonknoten in der hierarchischen Taxonomie-Table oder Taxonomie-Baum zugeordnet. Die Verteilung der Taxonknotenhits (Einträge) für bestimmte Sprach- und/oder Textdaten 10 bzw. ein zu analysierendes Dokument ist ein zuverlässiges Mass für seinen thematischen Inhalt.Words, terms, and / or terms that appear in a text document are compared to a large list of words stored in the linguistic database 22. By "terms" is meant in this context compound words such as e.g. the terms "nuclear power plant", "Commision of Human Rights", "European Patent Office" or "Office europeen des brevets." In the exemplary embodiment of such a linguistic database 22, 2.2 million entries were found to be sufficient for the languages English, French, German and Italian, the database 22 can of course include for a functioning but also more or less entries.Words / terms with the same meaning (synonyms) can be summarized eg in synonym groups (synsets), for example, for all languages together Synsets are then assigned to a taxon node in the hierarchical taxonomy table or taxonomy tree The distribution of the taxon node hits (entries) for particular language and / or text data 10 or a document to be analyzed is a reliable measure of its thematic content.
Figur 3 zeigt eine solche Struktur einer Taxonomie-Table 21. Beispielsweise können für jede Sprache Einträge wie folgt strukturiert sein:FIG. 3 shows such a structure of a taxonomy table 21. For example, entries may be structured as follows for each language:
Spalte Format InhaltColumn Format Content
1 N Klassifizierungscode (z.B. dezimal) für den Taxonknoten1 N classification code (e.g., decimal) for the taxon node
(universeller Code für alle Sprachen)(universal code for all languages)
2 T35 Benennung des Taxonknotens (Hyperonym/Oberbegriff)2 T35 Designation of the taxon node (hyperonym / generic term)
3 N1 Hierarchiestufe im Taxonomie-Baum3 N1 Hierarchy level in the taxonomy tree
4 N1.3 Statistisches Gewicht des Knotens (Bestimmt mittels globaler Entropie speziell für lange inhaltsreiche Dokumentensammlungen)4 N1.3 Statistical weight of the node (determined by means of global entropy especially for long-content document collections)
Spalte Format Inhalt 1 N6 Synset Code (für alle Sprachen gleich)Column Format Content 1 N6 sync code (same for all languages)
2 N2 Sequentielle Nummer innerhalb eines Synsets und einer2 N2 Sequential number within a synset and one
Sprache (0 kann z.B. einem Hauptbegriff innerhalb der Gruppe pro Sprache entsprechen)Language (0 may for example correspond to one main term within the group per language)
3 N1 Typ des Begriffes oder Terms3 N1 Type of term or term
(1 = Substantiv / 2 = Verb / 3 = Adjektive / 4 = Adverb, Pronomen etc. / 5 = Name)(1 = noun / 2 = verb / 3 = adjectives / 4 = adverb, pronoun etc. / 5 = name)
4 N1 Signifikanz des Begriffes/Wortes4 N1 Significance of the term / word
(0 = Füllwort ["glue" word] / 1 = tiefe Signifikanz / 2 = mittel / 3 = hoch I A = sehr hohe Signifikanz)(0 = noise word ["glue" word] / 1 = low significance / 2 = medium / 3 = high I A = very high significance)
5 N 64-bit hash-Wert für eine beschleunigte Identifikation von5N 64-bit hash value for accelerated identification of
Termen (aus mehreren Worten zusammengesetzter Begriff)Terms (term composed of several words)
6 T35 Begriff/Term6 T35 Term / term
7 N Hyperonym Code (Zuordnung zu einem Taxonknoten in der7 N Hyperonym code (assignment to a taxon node in the
Taxonomie-Table mit einer (z.B. dezimal) Klassifikation)Taxonomy table with a (e.g., decimal) classification)
8 N1 Sprachcode (0 = sprachenunabhängiger Name / 1 = Englisch /8 N1 language code (0 = language independent name / 1 = English /
2 = Deutsch / 3 = Französisch / 4 = Italienisch)2 = German / 3 = French / 4 = Italian)
9 N2 Flag für Begriffe/Terme, die in mehr als einem Synset9 N2 Flag for terms / terms used in more than one synset
(Synonym Gruppe) erscheinen*(Synonym group) appear *
*) Der Begriff "Gift" existiert in Englisch und Deutsch, hat jedoch in den beiden Sprachen vollständig unterschiedliche Bedeutung. Zusätzlich existieren Begriffe mit unterschiedlicher Bedeutung in der gleichen Sprache. Das englische Wort "fly", z.B. wird in seiner Bedeutung als "flight" oder in seiner Bedeutung als "trousers fly" verwendet. Der Begriff*) The term "poison" exists in English and German, but has completely different meanings in the two languages. In addition, terms with different meanings exist in the same language. The English word "fly", e.g. is used in its meaning as "flight" or in its meaning as "trousers fly". The term
"window" bedeutet eine Öffnung/Fenster, aber "Windows" kann sich auf eine Öffnung oder ein Betriebssystem beziehen. "Windows XP" anderseits ist wiederum einzigartig."window" means an opening / window, but "windows" may refer to an opening or operating system. "Windows XP" on the other hand is unique.
Die Verfahrensschritte für eine erste Analysis der Sprach- und/oderThe process steps for a first analysis of the speech and / or
Textdaten 10 kann z.B. wie folgt aussehen: (1) Eingabe eines Dokumentes, d.h. von Sprach- und/oder Textdaten 10; (2) Eine erste Einschätzung des Dokumentes; (3) Text Bearbeitung: i) Extraktion des Begriffes/Termes. ii) Vergleich mit den Eintragungen in der linguistischen Datenbank unter Berücksichtigung der entsprechenden Sprache und lexikalischen Regeln für die korrekte Zuordnung. Generierung des Synsets und Hyperonym Codes, der Signifikanz und Sprache mittels der Datenbank, iii) Generieren neuer Begriffe und/oder Synsets für nicht gefundene Begriffe oder Terme. iv) Bestimmung der Häufigkeit des Begriffes/Termes pro Dokument, v) Anpassung der Sprache, falls notwendig; (4) Zugeordnet Abspeichern der Informationen; (5) Nächstes Dokument bzw. nächste Sprach- und/oder Textdaten 10.Text data 10 may look, for example, as follows: (1) input of a document, ie of speech and / or text data 10; (2) An initial assessment of the document; (3) text editing: i) extraction of the term / term. ii) Comparison with the entries in the linguistic database, taking into account the appropriate language and lexical rules for correct assignment. Generation of the synset and hyperonym code, the significance and language by means of the database, iii) generation of new terms and / or synsets for not found terms or terms. (iv) determination of Frequency of the term / term per document, v) adaptation of the language, if necessary; (4) Assigned storing the information; (5) Next document or next language and / or text data 10.
Zum Bestimmen der Entropie und eines Relevanzindex pro Synset (Synonym Gruppe) wird für jedes Synset (isyn) und jede Sprache und/oder Textdaten 10 bzw. Dokument (idoc) die Häufigkeit berechnet basierend auf:For determining the entropy and a relevance index per syntax (synonym group), the frequency is calculated for each synset (isyn) and each language and / or text data 10 or document (idoc) based on:
Fisyn(idoc) = norm(idoc) ]T fword sigword, word e isyn wobei fWOrd = Frequenz des Wortes in idoc; Signifikanz des Wortes basierend auf der linguistischen Datenbank (O1...,4)Fi s y n (idoc) = norm (idoc)] T f word sig word , word e isyn where f WO rd = frequency of the word in idoc; Significance of the word based on the linguistic database (O 1 ..., 4)
min(gewichtete Anzahl Begriffe in idoc, 500) norm (idoc) = gewichtete Anzahl Begriffe in idocmin (weighted number of terms in idoc, 500) norm (idoc) = weighted number of terms in idoc
Das Gewicht ist gegeben durch sigword-The weight is given by sig wor d-
Der Faktor norm(idoc) kann z.B. eingeführt werden um zu verhindern, dass sehr grosse Dokumente vorherrschend für eine bestimmte Datenzusammenstellung werden. Der Faktor kann z.B. empirisch bestimmt werden.The factor norm (idoc) can e.g. be introduced to prevent very large documents from becoming predominant for a particular data compilation. The factor may e.g. determined empirically.
Die informationstheoretische Entropie eines Synsets isyn kann damit bestimmt werden durch:The information-theoretical entropy of a synset isyn can thus be determined by:
Entropyisyn = log(freqsumisyrj - ∑ Fisyn() •log(FiSy„0)/freqsumisyn idocEntropyi syn = log (freqsum isyr j - Σ F isyn () • log (F iSy "0) / freqsumi syn idoc
wobei: freqsuniisyn = ∑ FisynQ idocwhere: freqsunii syn = Σ F isyn Q idoc
Ein Synset, das weit verstreut über alle Sprach- und/oder Textdaten 10 bzw. über alle Dokumente erscheint, hat eine grosse „Entropie" und wird wenig zur Unterscheidung der Dokumente beitragen. Z.B. falls Dokumente/Artikel einer Datenbank der Neuen Zürcher Zeitung analysiert werden sollen, ist klar, dass "Neue Zürcher Zeitung" in allen oder vielen Artikel erscheinen wird, ohne jedoch eine Unterscheidungskraft für den Inhalt der Dokumente zu besitzen. Als Mass für eine generelle Relevanz eines Synset isyn kann z.B. der Term "Relevanz Index" Rlisyn definiert werden durchA synset that appears widely scattered across all language and / or text data 10 or across all documents has a great deal of "entropy" and will make little difference to the documents, eg if documents / articles in a database of the Neue Zürcher Zeitung are analyzed It is clear that "Neue Zürcher Zeitung" will appear in all or many articles, but without any distinctive character for the content of the Own documents. As a measure of a general relevance of a synset isyn, for example, the term "relevance index" Rli s y n can be defined by
Rluyn = freqsunitsyn / Entropyιsyn Rluyn = freqsunitsyn / Entropy ιsyn
Zum Bestimmen der Achsen des n-dimensionalen (in diesem Ausführungsbeispiel wurde n = 100 gewählt) Inhaltsraumes wird die Relevanz eines Hyperonyms (Taxonknoten in der Taxonomie-Table 21 ) bestimmt, indem über allen Relevanzindizes die gesamten zu analysierenden Text- und/oder Sprachdaten 10 integriert werden. Diese Relevanz ist ein Mass für die totale Trefferhäufigkeit eines Taxonknotens durch die gesamten Text- und/oder Sprachdaten 10. Dieses Mass zeigt an, welches Themengebiet und/oderTo determine the axes of the n-dimensional (in this embodiment, n = 100 selected) content space, the relevance of a hyperonym (taxon node in the taxonomy table 21) is determined by comparing over all relevance indices the total text and / or speech data 10 to be analyzed to get integrated. This relevance is a measure of the total hit frequency of a taxon node through the entire text and / or speech data 10. This measure indicates which subject area and / or
Themengebiete in einer Dokumentensammlung vorherrschend ist. Theoretisch kann jeder Taxonknoten einer Achse im Inhaltsraum zugeordnet werden. Dies würde z.B. in einem Inhaltsraum mit einer Dimension grösser als 4000 resultieren, was einem ungeheuren Overhead entsprechen würde und zudem viel zu vielen Freiheitsgraden für eine Inhaltsbestimmung.Topics in a collection of documents is predominant. Theoretically, each taxon node can be assigned to an axis in the content space. This would e.g. result in a content space with a dimension greater than 4000, which would correspond to a tremendous overhead and also far too many degrees of freedom for a content determination.
Aus diesem Grund können die Taxonknoten z.B. gedustert werden, beispielsweise in n-2 (z.B. n-2 = 98) unterschiedliche Clusters, wie z.B. durch die Bedingung, dass die kumulierte Relevanz des "Mutterknotens" eines Clusters von Taxonknoten und all seine Unterknoten mindestens einen vordefinierbaren Schwellwert (z.B. 0.5%) der gesamten Relevanz entspricht. Der Cluster wird gebildet auf dem triefst möglichen Niveau des Taxonomie- Baumes bzw. der Taxonomie-Table. Dieses Verfahren kann z.B. verglichen werden mit der Bildung von Agglomeraten in einer Demographie. Jeder Cluster (mit all den entsprechenden Synsets, die auf ihn verweisen) wird einer Achse in dem n-dimensionalen Inhaltsraum zugeordnet. Achse n-1 wird z.B. für Synsets benutzt, die nicht auf einen der Agglomerationscluster verweisen und die Achsen n sind für Zahlen reserviert. Figur 4 zeigt schematisch die Bildung von solchen Agglomerationsclustern in der Taxonomie-Table.For this reason, the taxon nodes may e.g. For example, in n-2 (e.g., n-2 = 98), different clusters, e.g. by the condition that the cumulative relevance of the "parent" of a cluster of taxon nodes and all of its subnodes corresponds to at least a predefinable threshold (e.g., 0.5%) of the total relevance. The cluster is formed at the driest possible level of the taxonomy tree or the taxonomy table. This method can e.g. be compared with the formation of agglomerates in a demographics. Each cluster (with all the corresponding synsets pointing to it) is assigned to an axis in the n-dimensional content space. Axis n-1 is e.g. used for synsets that do not refer to one of the agglomeration clusters, and the n axes are reserved for numbers. Figure 4 shows schematically the formation of such agglomeration clusters in the taxonomy table.
Schliesslich werden z.B. ntop Themengebiete gebildet, welche jede aus einer bestimmten Untergruppe von Agglomerationsclustern (ntop kann z.B. in der Grössenordnung von 10-20 liegen) zusammengesetzt sind. Die Agglomerate werden derart gebildet, dass die Taxonknoten von einem Agglomerationscluster, welcher zum gleichen Themengebiet (Topics) gehört, einen gemeinsamen Mutterknoten in der Hierarchie der Taxonomie-Table besitzen. Die daraus resultierende Transformationsregel kann z.B. wie folgt lauten: Jedes Synset verweist auf eine der ausgewählten Agglomerationscluster, entsprechend einer Achse im Inhaltsraum oder einer Achse n-1. Eine grosse Anzahl von Synsets verweisen wiederum zu einem der ntop Themengebiete auf einem höheren Aggregationsniveau. Figur 5 zeigt ein Beispiel des Kombinierens eines Agglomerationsclusters in Themengebiete.Finally, for example, ntop topic areas are formed, each composed of a particular subgroup of agglomeration clusters (ntop may be of the order of 10-20, for example). The agglomerates are formed such that the taxon knots of a Agglomeration cluster, which belongs to the same topic (Topics), have a common parent node in the hierarchy of the taxonomy table. The resulting transformation rule may be as follows: Each synset refers to one of the selected agglomeration clusters, corresponding to an axis in the content space or an axis n-1. In turn, a large number of synsets refer to one of the ntop subject areas at a higher aggregation level. Figure 5 shows an example of combining an agglomeration cluster in subject areas.
Zur Projektion der zu analysierenden Dokumente, d.h. der Sprach- und/oder Textdaten 10, auf den n-dimensionalen Inhaltsraum, kann z.B. für jedes Dokument idoc die Vektorkomponente c, für die i-te Achse des Inhaltsraumes definiert werden durch:To project the documents to be analyzed, i. the speech and / or text data 10, to the n-dimensional content space, may e.g. for each document idoc the vector component c, for the i-th axis of the content space are defined by:
c, = log(1+w,) wobeic, = log (1 + w,) where
W1 = Y4 Fιsyn(idoc)W 1 = Y 4 F ιsyn (idoc)
VSynsetsΛchscl wobei F,sy„(idoc) durch die obige Formel gegeben ist.VSynsets Λchscl where F, sy "(idoc) is given by the formula above.
Die Einheit (Metrik) für den n-dimensionalen Raum wird mittels der gesamten Entropie aller Synsets bestimmt, die auf eine Achse i verweisen (vsynsetsΛI∞l), wobei die gesamte Entropie auf eine analoge Art bestimmt werden kann, wie die oben definierte Entropie der Synsets. Die Gewichte g, für die i-te Komponente können dann z.B. bestimmt werden durch:The unit (metric) for the n-dimensional space is determined by the total entropy of all the synsets pointing to an axis i (vsynsets ΛI∞l ), where the total entropy can be determined in an analogous manner as the entropy defined above the Synsets. The weights g, for the i-th component can then be determined, for example, by:
g, = 1 /(gesamte Entropie der Men Komponente^g, = 1 / (total entropy of the men component ^
Mit dieser Definition bekommen z.B. Komponenten mit einer tiefen Entropie (d.h. mit einem tiefen Verteilungsgrad (high discrimination effect)) ein entsprechend hohes Gewicht.With this definition, e.g. Components with a low entropy (i.e., with a high distribution effect) have a correspondingly high weight.
Für die Wahl der m typischsten Deskriptoren eines Dokumentes, d.h. bestimmter Sprach- und/oder Textdaten 10 wird für jedes Synset isyn im Document idoc ein Synset Relevanzwert RelevιSyn bestimmt werden, beispielsweise durch:For the selection of the most typical descriptors of a document, ie specific speech and / or text data 10, for each sync isyn in Document idoc a Synset relevance value Relevι Syn be determined, for example by:
RelevISyn(idoc) = (In(1+Fιsyn(idoc)) /ln(1+ freqsumιsyn) ) / EntropyιsynRelev IS yn (idoc) = (In (1 + F ιsyn (idoc)) / ln (1+ freqsum ιsy n)) / Entropy ιsy n
Die m Synsets mit dem höchsten Relevanzwert Relev,syn können z.B. als die m Deskriptoren ausgewählt werden, die am typischsten für ein Dokument idoc sind. Diese Deskriptoren, die z.B. ihren entsprechenden Hyperonymen zugeordnet abgespeichert sein können, werden zur Katalogisierung und/oder Indexierung verwendet. Sie umfassen die wichtigsten Charakteristiken eines Dokumentes sogar in diesen Fällen, in welchen die Projektion auf den Inhaltsraum in nicht-optimaler Weise durch den Inhalt eines spezifischen Dokumentes wiedergegeben ist.For example, the m synsets having the highest relevance value Relev, syn may be selected as the m descriptors most typical of a document idoc. These descriptors, which may be stored as associated with their respective hyperonyms, are used for cataloging and / or indexing. They include the most important characteristics of a document even in those cases in which the projection on the content space is rendered non-optimal by the content of a specific document.
Zum automatisierten Katalogisieren und/oder Indexieren wird das oben erwähnte Verfahren, das auf dem erwähnten statistischen und/oder linguistischen Analyseverfahren beruht, mit einem oder mehreren neuronalen Netzwerkmodul 26 kombiniert Das statistische und/oder linguistische Analyseverfahren verwendet, wie beschrieben, eine umfassende universelle Taxonomie-Table 21 zur Erkennung des thematischen Inhaltes. Um nun einen Überblick über die gesamten Text- und/oder Sprachdaten 10, d h. aller zu analysierenden Dokumente idoc zu erhalten, zum anderen um eine Funktion zum Ähnlichkeitsvergleich zu generieren, werden die Resultate der linguistischen Analysis mit neuronalen Netzwerk Technologien kombiniert. Es hat sich gezeigt, dass sog. Self-Organizing-Map (SOM) Techniken z.B. von Kohonen, äusserst geeignet sein können. Hingegen ist dem Fachmann klar, dass auch andere neuronale Netzwerktechniken für bestimmte Anwendungen sinnvoll sein können bzw. geeigneter, ohne dadurch den Schutzumfang des Patentes in irgendeiner Art einzuschränken.For automated cataloging and / or indexing, the above-mentioned method based on the mentioned statistical and / or linguistic analysis method is combined with one or more neural network module 26. The statistical and / or linguistic analysis method employs, as described, a comprehensive universal taxonomy. Table 21 for the recognition of the thematic content. To get an overview of the entire text and / or voice data 10, d h. To obtain all documents to be analyzed idoc, on the other hand to generate a similarity comparison function, the results of the linguistic analysis are combined with neural network technologies. It has been found that so-called Self-Organizing Map (SOM) techniques, e.g. Kohonen. On the other hand, it is clear to the person skilled in the art that other neural network techniques may or may not be useful for certain applications, without thereby restricting the scope of the patent in any way.
Die SOM-Technik kann auf das beschrieben Projektionsverfahren der zu analysierenden Text- und/oder Sprachdaten 10, d.h. die Dokumente idoc, auf den n-dimensιonalen Inhaltsraum (z.B. n = 100) angewendet werden. Bevor die neuronalen Netzwerkiterationen mittels des neuronalen Netzwerkmoduls 26 (unsupervised learning) gestartet werden, kann z.B. ein grobes Ausgleichsverfahren für die Gruppe verwendet werden, um ein zuverlässige Anfangsschätzung für die SOM-Technik zu erhalten. Dieses Verfahren kann den Iterationsprozess wesentlich beschleunigen und kann das Risiko minimieren, dass die SOM-Technik in einer nicht optimalen Konfiguration (z.B. lokales Minimum) endet. Für den SOM Algorithmus kann die Distanz zwischen zwei Vektoren (Dokumenten idoc) a und b z.B. bestimmt werden durch:The SOM technique can be applied to the described projection method of the text and / or speech data 10 to be analyzed, ie the documents idoc, to the n-dimensional content space (eg n = 100). Before the neuronal network iterations by means of the neural Network module 26 (unsupervised learning) can be started, for example, a rough compensation method for the group can be used to obtain a reliable initial estimate for the SOM technique. This method can significantly speed up the iteration process and can minimize the risk that the SOM technique will end up in a non-optimal configuration (eg, local minimum). For the SOM algorithm, the distance between two vectors (document idoc) a and b, for example, can be determined by:
wobei KLθιb die Kullback-Leibler Distanz zwischen zwei Dokumenten im folgenden Sinne ist, dass die Zuweisung eines Dokumentes idoc mittels eines Inhaltsvektors c zu einem Themengebiet jtop gemessen wird mit where KL θιb is the Kullback-Leibler distance between two documents in the following sense, that the assignment of a document idoc is measured by means of a content vector c to a topic jtop with
hJtop c = ^VectorPαrt + DescήptorPαrt + ErrMS mith Jtop c = ^ VectorPαrt + DescήptorPαrt + ErrMS with
VectorPart = ∑ g'( |M[ )VectorPart = Σ g '(| M [)
V Komponenten Jtop V l I 11 / wobei v Komponenten^ allen Komponenten, die auf jtop verweisen, entspricht.V components Jtop V l I 11 / where v components ^ correspond to all components that refer to jtop.
DβscriptorPart = ∑ (R.elevιsyn(idocj)DβscriptorPart = Σ (R.elev ιsyn (idocj)
V Deskriptoren Jbyp V descriptors Jbyp
Wobei wieder \/ Deskriptoren ^1, allen Deskriptoren, die auf jtop verweisen, entspricht. ErrMS ist die Schätzung des mittleren quadratischen Fehlers (Abweichung) mit z.B. ErrMS ≥ 10"5. Die normalisierten MasseWhere again \ / descriptors ^ 1 , all descriptors that refer to jtop, corresponds. ErrMS is the estimate of the mean square error (deviation) with eg ErrMS ≥ 10 "5. The normalized mass
Λ,top können z.B. als Wahrscheinlichkeiten interpretiert werden, dass das Dokument idoc zu einem bestimmten Themengebiet jtop gehört. Die Kullback- Leibler Distanz zwischen zwei Dokumenten idoc und kdoc mit den Inhaltsvektoren a und b ist z.B. gegeben durch jtopΛ, top For example, it may be interpreted as probabilities that the document idoc belongs to a particular topic jtop. The Kullback-Leibler distance between two documents idoc and kdoc with the content vectors a and b is eg given by jtop
Der Kullback-Leibler Teil in der gesamten Distanz beinhaltet, dass die Dokumente in das richtige globale Gebiet durch die SOM-Technik gebracht werden. Somit wirkt Kullback-Leibler Teil als Randbedingung für die SOM- Technik. Der metrische Teil in der gesamten Distanz hingegen ist für lokales Plazieren in den individuellen Neuronen eine Themengebietes verantwortlich. Mittels der SOM-Technik mit Randbedingungen werden die zu analysierenden Dokumente, d.h. also die gesamten Text- und/oder Sprachdaten 10, durch das neuronale Netzwerkmodul 26 in ein 2-dimensionales Array von Neuronen (=lnformations-Map) gruppiert. Figur 6 zeigt das Resultat einer solchen Informations-Map bzw. Kohonen Map. Die Dokumente in einem Neuron sind damit ähnlich zueinander, was ihr thematischer Inhalt betrifft. Die Neuronen werden derart gruppiert, dass sie im globalen Themengebiet liegen, zu welchem sie hauptsächlich zugeordnet sind und thematisch zusammenhängende Neuronen liegen nahe beieinander (siehe Figur 6 mit den thematischen Gebieten a k).The Kullback-Leibler part in the whole distance involves putting the documents in the right global area through the SOM technique. Thus, Kullback-Leibler part acts as a boundary condition for the SOM technique. The metric part in the entire distance, however, is responsible for local placement in the individual neurons of a subject area. By means of the constrained SOM technique, the documents to be analyzed, i. That is, the entire text and / or speech data 10 is grouped by the neural network module 26 into a 2-dimensional array of neurons (= information map). FIG. 6 shows the result of such an information map or Kohonen map. The documents in a neuron are thus similar to each other in terms of their thematic content. The neurons are grouped so that they are in the global subject area to which they are mainly assigned, and thematically related neurons are close to each other (see Figure 6 with the thematic areas a k).
Im Vergleichs- und Wertungsverfahren kann eine Suchabfrage z.B. aus ein paar Suchbegriffen oder einem Textdokument in einer natürlichen Sprache sein. Der Suchtext kann z.B. den ganzen Inhalt eines Dokuments um in der indexierten und/oder katalogisierten Dokumentensammlung nach ähnlichen Dokumenten zu suchen. Der Suchtext kann aber auch z.B. nur einen kleinen Teil des relevanten Dokumentes beinhalten. Aus diesem Grund kann unter Umständen die metrische Distanz zwischen dem Suchtext und den Dokumenten kein zuverlässiges Kriterium zum Finden der Dokumente sein, welche dem Suchtext am nächsten sind. Ein zuverlässigeres Mass für den Vergleich und das hierarchische Werten wird durch das Skalarprodukt der Inhaltsvektoren erzeugt. Solch ein Mass garantiert, dass die gemeinsamen Teile zwischen dem Suchtext und den Dokumenten wirksam berücksichtigt werden. Ein Ähnlichkeitsmass zwischen dem Suchtext und einem Dokument kann z.B. definiert werden durch , ' ' + DescrSim . q c wobei q der Inhaltsvektor des Suchtextes, c der Inhaltsvektor des Neurons, in welchem das Dokument platziert ist und DescrSim das Mass für die Ähnlichkeit zwischen den m Deskriptoren des Suchtextes und dem Dokument (z.B. m = 20) ist, wie weiter unten beschrieben wird. Der Term DescrSim umfasst die gewichtete Summe von unterschiedlichen Deskriptor-Paaren, wobei Paare mit identischen Deskriptoren im Suchtext und dem gesuchten Dokument können z.B. auf 100 Punkten gewichtet werden. Paare mit Deskriptoren, die auf ein gemeinsames Hyperonym (Taxonknoten in der Taxonomie-Table) können z.B. gewichtet werden mit 30 Punkten, falls der gemeinsame Taxonknoten der direkte Taxonknoten der Deskriptoren ist, mit 10 Punkten, falls der gemeinsame Taxonknoten eine Hierarchiestufe darüber ist, 3 Punkte, wenn der gemeinsame Taxonknoten zwei Hierarchiestufen darüber ist und 1 Punkt, wenn der gemeinsame Taxonknoten drei Hierarchiestufen darüber ist. Mit RelevjSyn() als Relevanzwert der Deskriptoren in einem Dokument kann z.B. bestimmt werden, dassIn the comparison and scoring method, a search query can be, for example, a few search terms or a text document in a natural language. For example, the search text can search the entire contents of a document for similar documents in the indexed and / or cataloged document collection. The search text can also contain only a small part of the relevant document. For this reason, the metric distance between the search text and the documents may not be a reliable criterion for finding the documents closest to the search text. A more reliable measure of comparison and hierarchical values is generated by the scalar product of the content vectors. Such a measure guarantees that the common parts between the search text and the documents are effectively taken into account. For example, a similarity measure between the search text and a document can be defined by , '' + DescrSim. q c where q is the content vector of the search text, c is the content vector of the neuron in which the document is placed, and DescrSim is the measure of the similarity between the m descriptors of the search text and the document (eg m = 20), as described below. The term DescrSim comprises the weighted sum of different descriptor pairs, where pairs with identical descriptors in the search text and the searched document can be weighted eg at 100 points. For example, pairs with descriptors that point to a common hyperonym (taxon node in the taxonomy table) may be weighted with 30 points if the common taxon node is the direct taxon node of the descriptors, 10 points if the common taxon node is a hierarchical level above it 3 Points if the common taxon node is two hierarchical levels above and 1 point if the common taxon node is three levels above it. For example, using Relevj Syn () as the relevance value of the descriptors in a document, it can be determined that
DescrSim = — — ^(Gewichtung für Paare isyn/isyn2) • weightlsyn| ]Syn2 DescrSim = - - ^ (weighting for pairs isyn / isyn 2 ) • weight lsyn | ] Syn2
^norm Paare^ norm pairs
wobeiin which
wei8ht,m, ,_*». = Re /e%„, (Suchtext) Re lev^ (Dokument) knows 8 ht , m ,, _ »» . = Re / e % ", (Search text) Re lev ^ (Document)
S,10rm = (m/ml) ∑weight, syn , ,ιsyn 2 S, 10rm = (m / ml) Σweight, syn,, ιsyn 2
Paarepairs
mit m1 = Anzahl übereinstimmender Paare {m1 ≤ m). Das Skalarprodukt im wie oben definierten Ähnlichkeitsmass entspricht der Ähnlichkeit zwischen einem Neuron (Teilsammlung der Dokumente) und dem Suchtext. Der Term DescrSim quantifiziert die Details für die individuellen Dokumente in einem gegebenen Neuron. Der Faktor "0.01" in der Definition von DescrSim kann z.B. auf einer empirischen Basis bestimmt werden. Er kann z.B. derart bestimmt werden, dass das Skalarprodukt (Cross Positioning) und die individuellen Erweiterungen (DescrSim) in eine ausgeglichene Form geteilt sind. Für den Vergleich und die Wertung mit dem oben definierten Ähnlichkeitsmass, ist das Vergleichsverfahren klar. Es z.B. die nDoc Dokumente gefunden werden, die einem bestimmten Suchtext am nächsten sind. Zuerst wird der Teilbereich mit den Neuronen mit den höchsten Skalarprodukten gesucht, bis die Zahl der ausgewählten Dokumente z.B. den Grenzwert von 3-nDoc überschreitet. Die selektierten Dokumente werden dann nach ihren Ähnlichkeitswerten (einschliesslich der Erweiterung DescrSim) in absteigender Ordnung sortiert. Die ersten nDoc Dokumente bilden das gewünschte Dokument in der Wertungsordnung. Für den Fall, dass die thematische Such keinen Sinn ergibt, d.h. z.B. wenn die Suchabfrage nur aus wenigen Worten zusammengesetzt ist, die zu keinem Unterscheidungsinhalt beitragen, dann kann die Auswahl erreicht werden, indem z.B. der Suchindex für die individuellen Synsets innerhalb eines Dokumentes verwendet werden. Das weiter oben definierte Ähnlichkeitsmass kann sich z.B. von 0 bis 2 erstrecken. Die Transformation in einen Wertungsprozentsatz kann z.B. erreicht werden mitwith m1 = number of matching pairs {m1 ≤ m). The scalar product in the similarity measure as defined above corresponds to the similarity between a neuron (partial collection of documents) and the search text. The term DescrSim quantifies the details for the individual documents in a given neuron. For example, the factor "0.01" in the definition of DescrSim can be determined on an empirical basis. It can be determined, for example, such that the cross-position product and the individual extensions (DescrSim) are divided into a balanced form. For the comparison and the rating with the similarity measure defined above, the comparison method is clear. For example, find the nDoc documents that are closest to a particular search text. First the subarea with the neurons with the highest scalar products is searched until the number of selected documents exceeds eg the limit of 3-nDoc. The selected documents are then sorted in descending order according to their similarity values (including the DescrSim extension). The first nDoc documents form the desired document in the scoring order. In the event that the thematic search does not make sense, ie if the search query is composed of only a few words that do not contribute to any distinguishing content, then the selection can be achieved by, for example, using the search index for the individual synsets within a document. The similarity measure defined above may extend from 0 to 2, for example. The transformation into a scoring percentage can be achieved eg with
„, f Ähnlichkeit | , _Λn/ Wertungsprozentsatz = • 100%", F Similarity | , _ Λn / Rating percentage = • 100%
Die Erkennung von Dokumentenderivativen bedeutet das Identifizieren von Clusters von Dokumenten, deren Inhalt fast identisch sind. Dies können z.B. unterschiedliche Kopien des gleichen Dokumentes mit kleinen Änderungen sein, wie es z.B. für Patenttexte einer Patentfamilie gelten kann, deren Text und/oder Schutzbereich je nach Land leicht variieren kann. Die erfindungsgemässe Vorrichtung und/oder Verfahren erlaubt das automatisierte Identifizieren von Dokumentenclusters mit beinahe identischen Dokumenten. Weiter erlaubt sie die Möglichkeit ältere Dokumentversionen zu unterdrücken und kann ein Tool sein, um solche Dokumentensammlungen zu verwalten und up-to-date zu halten (z.B. mittels eines regelmässigen Clean-Up).Recognizing document derivatives means identifying clusters of documents whose contents are almost identical. This can e.g. different copies of the same document with small changes, e.g. may apply to patent texts of a patent family whose text and / or scope may vary slightly from country to country. The inventive apparatus and / or method allows the automated identification of document clusters with almost identical documents. It also allows for the ability to suppress older document versions and can be a tool to manage and keep such collections of documents (for example, by means of a regular clean-up).
Bei der Clusteridentifikation kann z.B. das Ähnlichkeitsmass, das zum Vergleich und/oder Wertung der Dokumente für einen Suchtext verwendet wird, unter Umständen keine befriedigenden Resultate zum entdecken solcher Dokumentencluster liefern. Für das Dokumentenclustering wird die Distanz zwischen zwei Dokumenten idoci und idoc2 mit ihren Inhaltsvektoren a und b gemessenIn cluster identification, for example, the similarity measure used to compare and / or score the documents for a search text may not provide satisfactory results for discovering such document clusters. For document clustering, the distance becomes measured between two documents idoci and idoc2 with their content vectors a and b
wobei DescrDist die gewichtete Summe der Ableitung der Deskriptoren ist. Dabei kann z.B. bestimmt werden, dass passende Deskriptorpaare von zwei Sets von m Deskriptoren (z.B. m=20) nichts beitragen, während nicht zusammenpassende Descriptorpaare werden mit 1 Punkt gewichtet werden, falls sie einen direkten gemeinsamen Taxonknoten besitzen, mit 2 Punkten, falls sie einen gemeinsamen Taxonknoten in einer Hierarchiestufe darüber besitzen und 5 Punkte für die übrigen Fälle. Mitwhere DescrDist is the weighted sum of the derivation of the descriptors. In this case, e.g. determining that matching descriptor pairs of two sets of m descriptors (eg, m = 20) do not contribute anything, while mismatched descriptor pairs will be weighted with 1 point if they have a direct common taxon node, with 2 points if they share a common taxon node in own a hierarchical level and 5 points for the remaining cases. With
RelevisynQ als Relevanzwert der Deskriptoren innerhalb eines Dokumentes kann z.B. bestimmt werden, dassRelevi s ynQ as relevance value of the descriptors within a document can be determined eg that
DescrDist = — : — ^(Ergebnis für Paare isyn,/isyn2) Rclevibyπ (idoc,) Relevibyil2 (ido norm PaareDescrDist = - : - ^ (result for pairs isyn, / isyn 2 ) Rclev ibyπ (idoc,) Relev ibyil2 (ido norm pairs
mit With
Paarepairs
Der Faktor "0.1" in der Definition von DescDist kann z.B. auf empirische Weise bestimmt werden, z.B. indem die metrische Distanz und die Ableitungen der Deskriptoren in einer ausgeglichenen Art gegeneinander gewichtet werden.The factor "0.1" in the definition of DescDist may e.g. be determined empirically, e.g. by weighting the metric distance and the derivatives of the descriptors in a balanced manner against each other.
Der SOM-Algorithmus mit Randbedingungen garantiert, dass die Kandidaten für einen bestimmten Dokumentencluster im gleichen Neuron platziert werden. In dieser Art kann das Clustering für jedes Neuron einzeln erreicht werden. Für die Dokumente innerhalb eines Neurons kann z.B. die Distanzmatrix mit DocDist, wie oben beschrieben, bestimmt (Symmetrische Matrix mit alle 0 Elementen in der Diagonale). Figur 8 zeigt ein Schema für die Generierung von Cluster in einem Neuron. DocEps entspricht einer bestimmbaren Toleranz für das Maximum der Distanz zwischen den Mitgliedern eines Clusters.The constrained SOM algorithm guarantees that the candidates for a given document cluster are placed in the same neuron. In this way clustering can be achieved for each neuron individually. For the documents within a neuron, for example, the distance matrix can be determined with DocDist as described above (symmetric matrix with all 0 elements in the diagonal). Figure 8 shows a scheme for the Generation of clusters in a neuron. DocEps corresponds to a determinable tolerance for the maximum of the distance between the members of a cluster.
Es ist darauf hinzuweisen, dass die vorliegende Erfindung nicht nur als Sprach- und Textanalysevorrichtung 20 zur Bildung eines Such- und/oder Klassifizierungskataloges verwendet werden kann. Die Anwendungen sind in jeder Hinsicht vielfältig. So ist es z.B. möglich, Daten innerhalb eines oder mehrerer Netzwerke 40,41 ,42, wie z.B. dem Internet, automatisiert zu erkennen und einem Gebiet zuzuordnen. Dies war im Stand der Technik bis jetzt nicht möglich, da das Verwenden einer universellen Taxonomie-Table inIt should be noted that the present invention can be used not only as a speech and text analysis device 20 for forming a search and / or classification catalog. The applications are diverse in every way. So it is e.g. possible, data within one or more networks 40, 41, 42, e.g. the Internet, automated to recognize and assign a territory. This has not been possible in the prior art, as using a universal taxonomy table in
Zusammenhang mit automatisiertem Katalogisieren und/oder Indexieren nicht möglich war. Die Kommunikationsnetze 40,41 ,42 umfassen beispielsweise ein GSM- oder ein UMTS-Netz, oder ein satellitenbasiertes Mobilfunknetz, und/oder ein oder mehrere Festnetze, beispielsweise das öffentlich geschaltete Telefonnetz, das weltweite Internet oder ein geeignetes LAN (Local Area Network) oder WAN (Wide Area Network). Insbesondere umfasst es auch ISDN- und XDSL-Verbindungen. Benutzer können z.B. mit irgendwelchen netzwerkfähigen Endgeräten 30,31,32,33, wie z.B. irgendwelchen CPE (Customer Premise Equipments), Personal Computers 30, Laptops 31 , PDAs 32, Mobilfunkgeräten 33 etc. etc. auf die ein oder mehreren Netzwerke 40,41 ,42 zugreifen. Gerade in der heutigen Zeit kann die Vorrichtung z.B. nicht nur zum Auffinden von spezifischen Daten, sondern auch zum automatisierten Kontrollieren und/oder Überwachen von Datenflüssen in Netzwerken verwendet werden. Damit kann die Erfindung z.B. auch zur Terrorbekämpfung (z.B. Früherkennung eines Terroraktes) oder Bekämpfung andere Kriminalität übers Internet (z.B. Rassismus, Pädophilie etc) verwendet werden. Connection with automated cataloging and / or indexing was not possible. The communication networks 40, 41, 42 include, for example, a GSM or a UMTS network, or a satellite-based mobile radio network, and / or one or more fixed networks, for example the public switched telephone network, the worldwide Internet or a suitable Local Area Network (LAN) or WAN (Wide Area Network). In particular, it also includes ISDN and XDSL connections. Users can e.g. with any network-enabled terminals 30, 31, 32, 33, e.g. any CPE (Customer Premise Equipment), personal computer 30, laptop 31, PDA 32, mobile 33, etc., etc., access the one or more networks 40, 41, 42. At the present time, the device can be used e.g. not only for finding specific data but also for automated control and / or monitoring of data flows in networks. Thus, the invention may e.g. also be used to combat terrorism (e.g., early detection of a terrorist act) or combat other crime via the Internet (e.g., racism, pedophilia, etc).

Claims

Patentansprüche claims
1. Sprach- und Textanalysevorrichtung (20) zur Bildung eines Such- und/oder Klassifizierungskataloges, welche mindestens eine linguistische Datenbank (22) zum Zuordnen von linguistischen Begriffen zu Datenrekords umfasst, wobei mittels der Sprach- und Textanalysevorrichtung Sprach- und/oder Textdaten (10) entsprechend der Datenrekords klassifizierbar und/oder sortierbar sind und wobei die linguistischen Begriffe mindestens Schlagworte und/oder Suchbegriffe umfassen, dadurch gekennzeichnet,A speech and text analysis device (20) for forming a search and / or classification catalog, which comprises at least one linguistic database (22) for assigning linguistic terms to data records, wherein voice and / or text data (FIG. 10) are classifiable and / or sortable according to the data records, and wherein the linguistic terms comprise at least keywords and / or search terms, characterized
dass die Sprach- und Textanalysevorrichtung (20) eine Taxonomie- Table (21 ) mit variablen Taxonknoten basierend auf der linguistischen Datenbank (22) umfasst, wobei ein oder mehrere Datenrekords einem Taxonknoten in der Taxonomie-Table (21) zuordbar sind und wobei jeder Datenrekord einen variablen Signifikanzfaktor zur Wertung der Begriffe basierend mindestens auf Füllworten und/oder Verbindungsworten und/oder Schlagworten umfasst,in that the speech and text analysis device (20) comprises a taxonomy variable taxonomy table (21) based on the linguistic database (22), wherein one or more data records are assignable to a taxon node in the taxonomy table (21) and wherein each data record comprises a variable significance factor for rating the terms based at least on filler words and / or connection words and / or keywords,
dass die Sprach- und Textanalysevorrichtung (20) einthat the speech and text analysis device (20) a
Gewichtungsmodul (23) umfasst, wobei jedem Taxonknoten zusätzlich einWeighting module (23), wherein each taxon node additionally
Gewichtungsparameter zum Erfassen von Auftrethäufigkeiten von Begriffen innerhalb der zu klassifizierenden und/oder sortierenden Sprach- und/oder Textdaten (10) zugeordnet abgespeichert ist,Weighting parameter is stored for detecting occurrence frequencies of terms within the language and / or text data (10) to be classified and / or sorted,
dass die Sprach- und/oder Textanalysevorrichtung (20) ein Integrationsmodul (24) zum Bestimmen einer vordefinierbaren Anzahl Agglomerate basierend auf den Gewichtungsparametern der Taxonknoten in der Taxonomie-Table (21 ) umfasst, wobei ein Agglomerat mindestens ein Taxonknoten umfasst, undin that the speech and / or text analysis device (20) comprises an integration module (24) for determining a predefinable number of agglomerates based on the weighting parameters of the taxon nodes in the taxonomy table (21), wherein an agglomerate comprises at least one taxon node, and
dass die Sprach- und/oder Textanalysevorrichtung (20) mindestens ein neuronales Netzwerkmodul (26) zum Klassifizieren und/oder Sortieren der Sprach- und/oder Textdaten (10) basierend auf den Agglomeraten in der Taxonomie-Table (21) umfasst. in that the speech and / or text analysis device (20) comprises at least one neural network module (26) for classifying and / or sorting the speech and / or text data (10) based on the agglomerates in the taxonomy table (21).
2. Sprach- und Textanalysevorrichtung (20) nach Anspruch 1 , dadurch gekennzeichnet, dass das neuronale Netzwerkmodul (26) mindestens eine sebst-organisierende Kohonen-Map umfasst.The speech and text analysis device (20) of claim 1, characterized in that the neural network module (26) comprises at least one self-organizing Kohonen map.
3. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Sprach- und3. Speech and text analysis device (20) according to any one of claims 1 or 2, characterized in that the speech and
Textanalysevorrichtung ein Entropiemodul (25) zur Bestimmung eines in einem Speichermodul abspeicherbaren Entropieparameters basierend auf der Verteilung eines Datenrekords in den Sprach- und/oder Textdaten (10) umfasst.Text analysis device comprises an entropy module (25) for determining an accumulatable in a memory module entropy parameter based on the distribution of a data record in the speech and / or text data (10).
4. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die linguistische Datenbank (22) mehrsprachige Datenrekords umfasst.The speech and text analysis apparatus (20) according to any one of claims 1 to 3, characterized in that the linguistic database (22) comprises multilingual data records.
5. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Sprach- und Textanalysevorrichtung eine der linguistischen Datenbank (22) zugeordnete Hashtable umfasst, wobei mittels eines Hash-Wertes linguistisch verknüpfte Datenrekords in der Hashtable identifizierbar sind.5. speech and text analysis device (20) according to one of claims 1 to 4, characterized in that the speech and text analysis device comprises a linguistic database (22) associated hashtable, wherein by means of a hash value linguistically linked data records in the hashtable identifiable are.
6. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mittels eines Sprachparameters die Datenrekords einer Sprache zuordbar sind und in der Taxonomie-Table (21 ) als Synonym kennzeichenbar sind.6. speech and text analysis device (20) according to one of claims 1 to 5, characterized in that by means of a speech parameter, the data records of a language are assignable and in the taxonomy table (21) are identifiable as a synonym.
7. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Entropieparameter durch7. speech and text analysis device (20) according to one of claims 1 to 6, characterized in that the entropy parameter by
EntropieDR = ln(freqsumDR) - ∑ FDR ln(FDR)/freqsumDREntropy D R = ln (freqsum D R) - Σ F D R ln (F D R) / freqsum D R
gegeben ist.given is.
8. Sprach- und Textanalysevorrichtung (20) nach einem der8. Speech and text analysis device (20) according to one of
Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Agglomerate einen n- dimensionalen Inhaltsraum bilden. Claims 1 to 7, characterized in that the agglomerates form an n-dimensional content space.
9. Sprach- und Textanalysevorrichtung (20) nach Anspruch 8, dadurch gekennzeichnet, dass n gleich 100 ist.The speech and text analysis apparatus (20) of claim 8, characterized in that n equals 100.
10. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Sprach- und Textanalysevorrichtung Deskriptoren umfasst, mittels welchen definierbaren Deskriptoren entsprechende Randbedingungen für einen Themenkreis bestimmbar sind.10. Speech and text analysis device (20) according to any one of claims 1 to 9, characterized in that the speech and text analysis device comprises descriptors, by means of which definable descriptors corresponding boundary conditions for a subject group can be determined.
11. Sprach- und Textanalysevorrichtung (20) nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Datenbank eine universelle, themenunabhängige linguistische Datenbank (22) umfasst und die Taxonomie-Table (21) universell und themenunabhängig erzeugbar ist.11. Speech and text analysis device (20) according to any one of claims 1 to 10, characterized in that the database comprises a universal, topic-independent linguistic database (22) and the taxonomy table (21) is universally and topic independent generated.
12. Automatisiertes Sprach- und Textanalyseverfahren zur Bildung eines Such- und/oder Klassifizierungskataloges, wobei mittels einer linguistischen Datenbank (22) Datenrekords erfasst werden und Sprach- und/oder Textdaten (10) nach den Datenrekords klassifiziert und/oder sortiert werden, dadurch gekennzeichnet,12. Automated speech and text analysis method for forming a search and / or classification catalog, wherein by means of a linguistic database (22) data records are recorded and language and / or text data (10) are classified and / or sorted according to the data records, characterized .
dass die Datenrekords der linguistischen Datenbank (22) einem Taxonknoteπ einer Taxonomie-Table (21) zugeordnet abgespeichert werden, wobei jeder Datenrekord einen variablen Signifikanzfaktor zur Wertung der Begriffe basierend mindestens auf Füllwortenund/oder Verbindungsworten nd/oder Schlagwortenumfasst,that the data records of the linguistic database (22) are stored associated with a taxon node of a taxonomy table (21), each data record comprising a variable significance factor for rating the terms based at least on filler words and / or connection words and / or keywords,
dass die Sprach- und/oder Textdaten (10) basierend auf der Taxonomie-Table (21) erfasst werden, wobei die Häufigkeit einzelner Datenrekords in den Sprach- und/oder Textdaten (10) mittels einem Gewichtungsmodul (23) bestimmt und einem Gewichtungsparameter der Taxonknoten zugeordnet wird,in that the speech and / or text data (10) are acquired based on the taxonomy table (21), the frequency of individual data records in the speech and / or text data (10) being determined by means of a weighting module (23) and a weighting parameter of Taxon node is assigned,
dass mittels eines Integrationsmoduls (24) entsprechend der Gewichtungsparameter von einem oder mehreren Taxonknoten eine bestimmbare Anzahl Agglomerate in der Taxonomie-Table (21) bestimmt wird, dass mittels eines neuronalen Netzwerkmoduls (26) die Sprach- und/oder Textdaten (10) basierend auf den Agglomeraten in der Taxonomie- Table (21 ) klassifiziert und/oder sortiert werden.in that an identifiable number of agglomerates in the taxonomy table (21) is determined by means of an integration module (24) in accordance with the weighting parameters of one or more taxon nodes, in that the speech and / or text data (10) are classified and / or sorted by means of a neural network module (26) based on the agglomerates in the taxonomy table (21).
13. Automatisiertes Sprach- und Textanalyseverfahren nach Anspruch 12, dadurch gekennzeichnet, dass das neuronale Netzwerkmodul (26) mindestens eine sebst-organisierende Kohonen-Map umfasst.The automated voice and text analysis method of claim 12, characterized in that the neural network module (26) comprises at least one self-organizing Kohonen map.
14. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 13, dadurch gekennzeichnet, dass mittels eines Entropiemoduls (25) basierend auf der Verteilung eines Datenrekords in den Sprach- und/oder Textdaten (10) ein Entropiefaktor bestimmt wird.14. Automated speech and text analysis method according to one of claims 12 to 13, characterized in that an entropy factor is determined by means of an entropy module (25) based on the distribution of a data record in the speech and / or text data (10).
15. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die linguistische Datenbank (22) mehrsprachige Datenrekords umfasst.An automated voice and text analysis method according to any one of claims 12 to 14, characterized in that the linguistic database (22) comprises multilingual data records.
16. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass der linguistischen16. An automated speech and text analysis method according to any one of claims 12 to 15, characterized in that the linguistic
Datenbank (22) eine Hashtable zugeordnet abgespeichert wird, wobei die Hashtable mittels eines Hash-Wertes eine Identifikation von verknüpften Datenrekords umfasst.Database (22) is associated with a hashtable, wherein the hashtable by means of a hash value comprises an identification of linked data records.
17. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, dass mittels eines17. Automated speech and text analysis method according to one of claims 12 to 16, characterized in that by means of a
Sprachparameters die Datenrekords einer Sprache zuordbar sind und in der Taxonomie-Table (21) synonym wertbar sind.Language parameters the data records of a language are assignable and in the taxonomy table (21) are evaluable synonymous.
18. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 17, dadurch gekennzeichnet, dass der Entropiefaktor durch den TermAn automated speech and text analysis method according to any one of claims 12 to 17, characterized in that the entropy factor is represented by the term
EntropiβDR = ln(freqsumDR) - Σ FDR ln(FDR)/freqsumDREntropiβDR = ln (freqsum D R) - Σ F D R ln (F D R) / freqsum D R
gegeben ist. given is.
19. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 18, dadurch gekennzeichnet, dass die Agglomerate einen n-dimensionalen Inhaltsraum bilden.19. An automated speech and text analysis method according to any one of claims 12 to 18, characterized in that the agglomerates form an n-dimensional content space.
20. Automatisiertes Sprach- und Textanalyseverfahren nach Anspruch 19, dadurch gekennzeichnet, dass n gleich 100 ist.The automated speech and text analysis method of claim 19, characterized in that n equals 100.
21. Automatisiertes Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 20, dadurch gekennzeichnet, dass mittels definierbaren Deskriptoren entsprechende Randbedingungen für einen Themenkreis bestimmbar sind.21. Automated speech and text analysis method according to one of claims 12 to 20, characterized in that by means of definable descriptors corresponding boundary conditions for a topic group can be determined.
22. Sprach- und Textanalyseverfahren nach einem der Ansprüche 12 bis 21 , dadurch gekennzeichnet, dass die Taxonknoten der Taxonomie-Table (21) basierend auf einer universellen, themenunabhängigen linguistische Datenbank erzeugt werden, wobei die Datenbank (22) mindestens die universelle, themenunabhängige, linguistische Datenbank umfasst.22. Speech and text analysis method according to one of claims 12 to 21, characterized in that the taxon nodes of the taxonomy table (21) are generated based on a universal, topic-independent linguistic database, wherein the database (22) at least the universal, topic-independent, Linguistic database includes.
23. Computerprogrammprodukt, welches ein computerlesbares23. Computer program product which is a computer readable
Medium mit darin enthaltenen Computerprogrammcodemitteln zur Steuerung eines oder mehrerer Prozessoren eines computer-basierten Systems zur automatisierten Sprach- und Textanalyse mittels Bildung eines Such- und/oder Klassifizierungskataloges, wobei basierend auf einer linguistischen Datenbank (22) Datenrekords erfasst werden und Sprach- und/oder Textdaten (10) nach den Datenrekords klassifiziert und/oder sortiert werden, dadurch gekennzeichnetMedium containing computer program code means for controlling one or more processors of a computer-based system for automated speech and text analysis by forming a search and / or classification catalog, wherein based on a linguistic database (22) data records are recorded and voice and / or Text data (10) are classified and / or sorted according to the data records, characterized
dass mittels des Computerprogrammproduktes die Datenrekords der linguistischen Datenbank (22) einem Taxonknoten einer Taxonomie-Table (21 ,...,25) zugeordnet abspeicherbar sind, wobei jeder Datenrekord einen variablen Signifikanzfaktor zur Wertung der Begriffe basierend mindestens auf Füllwortenund/oder Verbindungsworten und/oder Schlagworten umfasst,in that the data records of the linguistic database (22) can be stored assigned to a taxon node of a taxonomy table (21, ..., 25) by means of the computer program product, each data record having a variable significance factor for rating the terms based at least on filler words and / or connection words and / or keywords,
dass mittels des Computerprogrammproduktes die Sprach- und/oder Textdaten (10) basierend auf der Taxonomie-Table (21 ) erfassbar sind, wobei die Häufigkeit einzelner Datenrekords in den Sprach- und/oder Textdaten (10) einen Gewichtungsparameter der Taxonknoten bestimmen,that by means of the computer program product the speech and / or text data (10) can be detected based on the taxonomy table (21), wherein the frequency of individual data records in the speech and / or text data (10) determine a weighting parameter of the taxon nodes,
dass mittels des Computerprogrammproduktes entsprechend dem Gewichtungsparameter von einem oder mehreren Taxonknoten eine bestimmbare Anzahl Agglomerate in der Taxonomie-Table (21 ) bestimmbar sind,that a determinable number of agglomerates in the taxonomy table (21) can be determined by means of the computer program product in accordance with the weighting parameter of one or more taxon nodes,
dass mittels des Computerprogrammproduktes eine neuronales Netzwerk generierbar ist, mittels welchem die Sprach- und/oder Textdaten (10) basierend auf den Agglomeraten in der Taxonomie-Table (21 ) die Sprach- und/oder Textdaten (10) klassifizierbar und/oder sortierbar sind.in that a neural network can be generated by means of the computer program product by means of which the speech and / or text data (10) can be classified and / or sorted based on the agglomerates in the taxonomy table (21), the speech and / or text data (10) ,
24. Computerprogrammprodukt, welches in den internen Speicher eines digitalen Computers ladbar ist und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäss einem der Ansprüche 12 bis 22 durchführbar sind, wenn das Produkt auf einem Computer läuft, wobei die neuronalen Netzwerke softwaremässig und/oder hardwaremässig generierbar sind. 24. A computer program product which is loadable into the internal memory of a digital computer and comprises software code sections with which the steps according to one of claims 12 to 22 can be carried out when the product is running on a computer, wherein the neural networks can be generated by software and / or hardware are.
EP04766500A 2004-08-13 2004-08-13 Speech and textual analysis device and corresponding method Withdrawn EP1779263A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2004/051798 WO2006018041A1 (en) 2004-08-13 2004-08-13 Speech and textual analysis device and corresponding method

Publications (1)

Publication Number Publication Date
EP1779263A1 true EP1779263A1 (en) 2007-05-02

Family

ID=34958240

Family Applications (2)

Application Number Title Priority Date Filing Date
EP04766500A Withdrawn EP1779263A1 (en) 2004-08-13 2004-08-13 Speech and textual analysis device and corresponding method
EP05777992A Active EP1779271B1 (en) 2004-08-13 2005-08-09 Speech and textual analysis device and corresponding method

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP05777992A Active EP1779271B1 (en) 2004-08-13 2005-08-09 Speech and textual analysis device and corresponding method

Country Status (6)

Country Link
US (2) US20080215313A1 (en)
EP (2) EP1779263A1 (en)
AT (1) ATE382903T1 (en)
DE (1) DE502005002442D1 (en)
ES (1) ES2300046T3 (en)
WO (2) WO2006018041A1 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GR20050100216A (en) * 2005-05-04 2006-12-18 i-sieve :����������� ����������� ������������ ����������� �.�.�. Method for probabilistic information fusion to filter multi-lingual, semi-structured and multimedia electronic content.
JP4803709B2 (en) * 2005-07-12 2011-10-26 独立行政法人情報通信研究機構 Word usage difference information acquisition program and apparatus
US8340957B2 (en) * 2006-08-31 2012-12-25 Waggener Edstrom Worldwide, Inc. Media content assessment and control systems
US7844890B2 (en) * 2006-12-29 2010-11-30 Sap Ag Document link management
US7899666B2 (en) * 2007-05-04 2011-03-01 Expert System S.P.A. Method and system for automatically extracting relations between concepts included in text
US20080301129A1 (en) 2007-06-04 2008-12-04 Milward David R Extracting and displaying compact and sorted results from queries over unstructured or semi-structured text
JP2009026083A (en) * 2007-07-19 2009-02-05 Fujifilm Corp Content retrieval device
US20090319505A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Techniques for extracting authorship dates of documents
US8560298B2 (en) * 2008-10-21 2013-10-15 Microsoft Corporation Named entity transliteration using comparable CORPRA
US20100153366A1 (en) * 2008-12-15 2010-06-17 Motorola, Inc. Assigning an indexing weight to a search term
US8332205B2 (en) * 2009-01-09 2012-12-11 Microsoft Corporation Mining transliterations for out-of-vocabulary query terms
CN102141978A (en) * 2010-02-02 2011-08-03 阿里巴巴集团控股有限公司 Method and system for classifying texts
CN102906736B (en) * 2010-03-12 2018-03-23 爱立信(中国)通信有限公司 System and method and the synonym group organizer that wherein uses for matching entities
JP2012027723A (en) * 2010-07-23 2012-02-09 Sony Corp Information processor, information processing method and information processing program
DE102011009378A1 (en) * 2011-01-25 2012-07-26 SUPERWISE Technologies AG Automatic extraction of information about semantic relationships from a pool of documents with a neural system
DE102011009376A1 (en) * 2011-01-25 2012-07-26 SUPERWISE Technologies AG Automatic classification of a document pool with a neural system
US9495352B1 (en) 2011-09-24 2016-11-15 Athena Ann Smyros Natural language determiner to identify functions of a device equal to a user manual
US9721039B2 (en) * 2011-12-16 2017-08-01 Palo Alto Research Center Incorporated Generating a relationship visualization for nonhomogeneous entities
US10163063B2 (en) 2012-03-07 2018-12-25 International Business Machines Corporation Automatically mining patterns for rule based data standardization systems
US20140279598A1 (en) * 2013-03-15 2014-09-18 Desire2Learn Incorporated Systems and methods for automating collection of information
KR101816375B1 (en) * 2013-06-08 2018-01-08 애플 인크. Application gateway for providing different user interfaces for limited distraction and non-limited distraction contexts
WO2017019705A1 (en) * 2015-07-27 2017-02-02 Texas State Technical College System Systems and methods for domain-specific machine-interpretation of input data
CN105868236A (en) * 2015-12-09 2016-08-17 乐视网信息技术(北京)股份有限公司 Synonym data mining method and system
US10043070B2 (en) * 2016-01-29 2018-08-07 Microsoft Technology Licensing, Llc Image-based quality control
US20190207946A1 (en) * 2016-12-20 2019-07-04 Google Inc. Conditional provision of access by interactive assistant modules
US11436417B2 (en) 2017-05-15 2022-09-06 Google Llc Providing access to user-controlled resources by automated assistants
US10127227B1 (en) 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
EP3937030A1 (en) 2018-08-07 2022-01-12 Google LLC Assembling and evaluating automated assistant responses for privacy concerns

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778362A (en) * 1996-06-21 1998-07-07 Kdl Technologies Limted Method and system for revealing information structures in collections of data items
US6446061B1 (en) * 1998-07-31 2002-09-03 International Business Machines Corporation Taxonomy generation for document collections
US6263334B1 (en) * 1998-11-11 2001-07-17 Microsoft Corporation Density-based indexing method for efficient execution of high dimensional nearest-neighbor queries on large databases
US6574632B2 (en) * 1998-11-18 2003-06-03 Harris Corporation Multiple engine information retrieval and visualization system
IT1303603B1 (en) * 1998-12-16 2000-11-14 Giovanni Sacco DYNAMIC TAXONOMY PROCEDURE FOR FINDING INFORMATION ON LARGE HETEROGENEOUS DATABASES.
US6711585B1 (en) * 1999-06-15 2004-03-23 Kanisa Inc. System and method for implementing a knowledge management system
US6278987B1 (en) * 1999-07-30 2001-08-21 Unisys Corporation Data processing method for a semiotic decision making system used for responding to natural language queries and other purposes
US7451075B2 (en) * 2000-12-29 2008-11-11 Microsoft Corporation Compressed speech lexicon and method and apparatus for creating and accessing the speech lexicon
AUPR958901A0 (en) * 2001-12-18 2002-01-24 Telstra New Wave Pty Ltd Information resource taxonomy
US6886010B2 (en) * 2002-09-30 2005-04-26 The United States Of America As Represented By The Secretary Of The Navy Method for data and text mining and literature-based discovery

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006018041A1 *

Also Published As

Publication number Publication date
ATE382903T1 (en) 2008-01-15
WO2006018041A1 (en) 2006-02-23
WO2006018411A3 (en) 2006-06-08
WO2006018411A2 (en) 2006-02-23
EP1779271A2 (en) 2007-05-02
US8428935B2 (en) 2013-04-23
EP1779271B1 (en) 2008-01-02
US20070282598A1 (en) 2007-12-06
DE502005002442D1 (en) 2008-02-14
ES2300046T3 (en) 2008-06-01
US20080215313A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
EP1779271B1 (en) Speech and textual analysis device and corresponding method
DE69834386T2 (en) TEXT PROCESSING METHOD AND RETENTION SYSTEM AND METHOD
Sebastiani A tutorial on automated text categorisation
DE60315506T2 (en) IDENTIFICATION OF CRITICAL FEATURES IN A REGIONAL SCALE ROOM
EP2100234B1 (en) System and method for user-controlled, multi-dimensional navigation and/or subject-based aggregation and/or monitoring of multimedia data
DE102019000294A1 (en) Create company-specific knowledge graphs
EP1877932B1 (en) System and method for aggregating and monitoring decentrally stored multimedia data
US20050021545A1 (en) Very-large-scale automatic categorizer for Web content
DE10333530A1 (en) Automatic indexing of digital image archives for content-based, context-sensitive search
DE102006040208A1 (en) Patent-related search procedure and system
EP3973412A1 (en) Method and device for pre-selecting and determining similar documents
DE102022201222A1 (en) NEURAL NETWORK WITH INTERACTION LAYER FOR SEARCHING, RETRIEVING AND RANKING
WO2020201247A1 (en) Automated machine learning on the basis of stored data
Asirvatham et al. Web page categorization based on document structure
Chen et al. Generating page clippings from web search results using a dynamically terminated genetic algorithm
WO2005116867A1 (en) Method and system for the automated generation of computer-based control and analysis devices
Faatz et al. Background Knowledge, Indexing and Matching Interdependencies of Document Management and Ontology-Maintenance.
Heyer et al. Aiding Web Searches by Statistical Classification Tools
WO2021204849A1 (en) Method and computer system for determining the relevance of a text
Ruiz et al. Hybrid hierarchical classifiers for categorization of medical documents
EP3948578A1 (en) Machine learning based on trigger definitions
WO2011044864A1 (en) Method and system for classifying objects
Ingavale et al. A Survey Paper on Content and Side Information based Text Mining
Felden et al. User-Oriented Filtering of Qualitative Data
WO2007082695A2 (en) Method for computerised processing of source data elements system and computer programme product

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070313

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

17Q First examination report despatched

Effective date: 20070620

18W Application withdrawn

Effective date: 20070705