DE19549300C1 - Evaluation variable determination system for Bayesian network graph - Google Patents

Evaluation variable determination system for Bayesian network graph

Info

Publication number
DE19549300C1
DE19549300C1 DE1995149300 DE19549300A DE19549300C1 DE 19549300 C1 DE19549300 C1 DE 19549300C1 DE 1995149300 DE1995149300 DE 1995149300 DE 19549300 A DE19549300 A DE 19549300A DE 19549300 C1 DE19549300 C1 DE 19549300C1
Authority
DE
Germany
Prior art keywords
bayesian network
probability density
training data
variable
density distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE1995149300
Other languages
German (de)
Inventor
Reimar Hofmann
Volker Dr Tresp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE1995149300 priority Critical patent/DE19549300C1/en
Application granted granted Critical
Publication of DE19549300C1 publication Critical patent/DE19549300C1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Abstract

The processor-assisted determination of the evaluation variable uses cross-validation or leave-one-out cross validation. A part of the Bayesian network graph is selected and a base conditional density distribution is varied with determination of the specific conditional density distribution of at least one data point of a training data set. The specific conditional density distributions are stored and the entire conditional density distribution is determined. The valuation variable is determined from the result of the entire conditional density distribution for at least one data point of a further training data set, with the full process then repeated for a different part of the network graph.

Description

Bei der Analyse von Daten, die aus mehreren, mehrere Varia­ blen umfassenden Datensätzen bestehen, die unabhängig vonein­ ander erzeugt wurden, liegt ein großes Problem in der Ermitt­ lung von Abhängigkeiten bzw. Unabhängigkeiten zwischen den Variablen.When analyzing data from multiple, multiple varia comprehensive data sets exist that are independent of one another other problems, there is a big problem in investigating Development of dependencies or independence between the Variables.

Ein typisches Anwendungsgebiet für die Analyse von unvoll­ ständigen Daten sind Gebiete in der Medizin, wo es von großer Bedeutung ist, Ursachen für eine Erkrankung herauszufinden und irrelevanten Faktoren nicht weiter zu beachten.A typical application for the analysis of incomplete permanent data are areas in medicine where there is great It is important to find out the causes of a disease and irrelevant factors.

Weitere Anwendungsgebiete liegen beispielsweise in unter­ schiedlichsten technischen Prozessen. Hierbei ist es von er­ heblicher Bedeutung beispielsweise bei der Herstellung von unterschiedlichsten chemischen Erzeugnissen anhand von vorge­ gebenen zu messenden Variablen, wie zugegebene Menge ver­ schiedener Chemikalien, Temperatur, Rührintensität, Festig­ keit des Endproduktes, durch eine gezielte Datenanalyse un­ terschiedlichste Fragestellungen beantworten zu können. Ziel dieser Datenanalyse könnte es ein, die Prozeßabläufe besser zu verstehen, bestimmte Variablen aus einer Teilmenge der an­ deren Variablen vorherzusagen oder auch kontrollierbare Va­ riablen im Hinblick auf bestimmte Kriterien zu optimieren, beispielsweise zu ermitteln, welche Temperatur sich bei gege­ benen anderen Werten die höchste Festigkeit des Endproduktes ergibt.Further areas of application are, for example, in various technical processes. Here it is from him of considerable importance, for example in the production of different chemical products based on pre given variables to be measured, such as added quantity ver different chemicals, temperature, stirring intensity, strength end product, through a targeted data analysis to be able to answer a wide variety of questions. target This data analysis could make the process flows better to understand certain variables from a subset of the predict their variables or also controllable Va optimize variables with regard to certain criteria, for example to determine which temperature is other values the highest strength of the end product results.

Insbesondere ist das Verfahren auf alle technischen Prozesse anwendbar, bei denen verschiedene Größen in Zusammenhang ste­ hen, die zumindest teilweise und indirekt meßbar oder ander­ weitig bestimmbar sind und wo mehrere Sätze von solchen Beob­ achtungen vorliegen, die in gleicher Weise erzeugt wurden. Größen können in diesem Zusammenhang auch Einstellungen an Apparaten sein, beispielsweise eine Einstellung an einem Reg­ ler. Hierbei sind kontinuierliche und diskrete Größen mög­ lich, bespielsweise Angaben, ob ein Schalter eingeschaltet oder ausgeschaltet ist, oder eine Angabe, ob ein Stoffgemisch explodiert oder nicht, etc.In particular, the procedure applies to all technical processes applicable where different sizes are related hen, at least partially and indirectly measurable or otherwise are widely determinable and where several sets of such observ  cautions that were generated in the same way. In this context, sizes can also indicate settings Apparatus, for example a shot on a reg ler. Continuous and discrete sizes are possible Lich, for example, information on whether a switch is turned on or switched off, or an indication of whether a mixture of substances explodes or not, etc.

Auch wenn eine vollständig stochastische Unabhängigkeit zwi­ schen zwei Variablen in der Realität normalerweise eher sel­ ten vorkommt (dies würde bedeuten, daß die gemeinsame Wahr­ scheinlichkeitsdichteverteilung zweier Variablen A und B fak­ torisiert werden könnte in P(A, B) = P(A) × P(B), ist eine bedingte Unabhängigkeit von Variablen andererseits ein Resul­ tat tatsächlicher oder anscheinender Kausalität zwischen den Variablen.Even if a completely stochastic independence between two variables in reality are usually rather sel ten (this would mean that the common truth probability density distribution of two variables A and B fak could be torized in P (A, B) = P (A) × P (B), is one conditional independence from variables on the other hand is a result did actual or apparent causality between the Variables.

Angenommen, die Variable A ist die Ursache für die Variable B und die Variable B ist die Ursache für die Variable C. In diesem Fall ist P(C|A, B) = P(C|B) und die Variablen A und C sind voneinander unabhängig, falls die Variable B bekannt ist. Die aus diesen angenommenen Kausalitäten für einen An­ wendungsfall entstehenden Unabhängigkeiten zwischen Variablen werden explizit in sogenannten Bayesianischen Netzwerkgraphen dargestellt.Assume that variable A is the cause of variable B and the variable B is the cause of the variable C. In in this case P (C | A, B) = P (C | B) and the variables A and C are independent of each other if variable B is known is. The causalities assumed for this from an An Independence between variables are explicit in so-called Bayesian network graphs shown.

Bayesianische Netzwerkgraphen bilden ein vollständiges Wahr­ scheinlichkeitsmodell in dem Sinne, daß sie die gemeinsame Wahrscheinlichkeitsdichteverteilung bzw. Wahrscheinlichkeits­ verteilung aller in dem Bayesianischen Netzwerk eingebundenen Variablen repräsentiert.Bayesian network graphs are a complete truth probability model in the sense that it is the common Probability density distribution or probability distribution of all those involved in the Bayesian network Represented variables.

Ein bedeutender Vorteil der Bayesianischen Netzwerkgraphen ist, daß jede Variable von einem bekannten Teil anderer Va­ riablen vorhergesagt werden kann. A significant advantage of the Bayesian network graph is that each variable is from a known part of another Va riablen can be predicted.  

Es ist bekannt, daß sogenannte Parzen-Fenster eine große Klasse bedingter Verteilungen modellieren können, selbst nichtlineare und multimodale Zusammenhänge zwischen den Vari­ ablen (D. Specht, A General Regression Neural Network, IEEE Transaction on Neural Networks, Vol. 2, No. 6, S. 568-576, 1991).It is known that so-called Parzen windows are large Can model class of conditional distributions, even nonlinear and multimodal relationships between the Vari ablen (D. Specht, A General Regression Neural Network, IEEE Transaction on Neural Networks, Vol. 2, No. 6, pp. 568-576, 1991).

Grundlagen über Bayesianische Netzwerkgraphen und über das Lernen der Struktur eines Bayesianischen Netzwerkgraphen für Probleme mit ausschließlich diskreten Variablen sind bekannt (D. Heckermann, A Tutorial on Learning Bayesian Networks, Microsoft Research, Technical Report, MSR-TR-95-06, März 1995).Basics about Bayesian network graphs and about that Learn the structure of a Bayesian network graph for Problems with only discrete variables are known (D. Heckermann, A Tutorial on Learning Bayesian Networks, Microsoft Research, Technical Report, MSR-TR-95-06, March 1995).

Ferner ist ein Verfahren zum Lernen Bayesianischer Netze aus Daten für Probleme mit kontinuierlichen und diskreten Varia­ blen bekannt, jedoch nur für den Fall, daß die bedingte Wahr­ scheinlichkeitsdichte aller kontinuierlichen Variablen, gege­ ben alle diskreten Variablen, normal verteilt ist (D. Geiger et al, Learning Gaussian Networks, Microsoft Research, Technical Report, MSR-TR-94-10, 1994).There is also a process for learning Bayesian networks Data for problems with continuous and discrete varia blen known, but only in the event that the conditional truth probability density of all continuous variables, opp ben all discrete variables, is normally distributed (D. Geiger et al, Learning Gaussian Networks, Microsoft Research, Technical Report, MSR-TR-94-10, 1994).

Auch Verfahren zur Kreuzvalidierung sind bekannt (L. Breiman, Classification and Regression Trees, The Wadsworth stati­ stics/probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, S. 11, 1984).Cross-validation methods are also known (L. Breiman, Classification and Regression Trees, The Wadsworth stati stics / probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, P. 11, 1984).

Ebenso sind Verfahren zur leave-one out Kreuzvalidierung be­ kannt (L. Breiman, Classification and Regression Trees, The Wadsworth statistics/probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, S. 12, 1984).There are also procedures for leave-one out cross validation knows (L. Breiman, Classification and Regression Trees, The Wadsworth statistics / probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, p. 12, 1984).

Aus (R. Duda and P. Hart, Pattern Classification and Scene Analysis, John Wiley & Sons Inc., ISBN 0-471-22361-1, S. 90, 1973) ist bekannt, daß für eine Standardabweichung σ, die als eine Funktion von der Anzahl von Datenpunkten in der ersten Trainingsdatenmenge D, im Limes für die Anzahl von Datenpunk­ ten in der ersten Trainingsdatenmenge D gegen Unendlich gegen den Wert Null konvergiert, so daß aber gleichzeitig ein Term D*σN gegen Unendlich divergiert. Somit führt dies zu einer beliebig guten Approximation der wahren Wahrscheinlichkeits­ dichteverteilung für eine hinreichend große Anzahl von Daten­ punkten in der ersten Trainingsdatenmenge D.From (R. Duda and P. Hart, Pattern Classification and Scene Analysis, John Wiley & Sons Inc., ISBN 0-471-22361-1, p. 90, 1973) it is known that for a standard deviation σ, which as a Function of the number of data points in the first training data set D, in the limit for the number of data points in the first training data set D converging towards infinity against the value zero, so that at the same time a term D * σ N diverges towards infinity. This leads to an arbitrarily good approximation of the true probability density distribution for a sufficiently large number of data points in the first training data set D.

Die bekannten Verfahren zum Lernen Bayesianischer Netze wei­ sen vor allem den Nachteil auf, daß sie unterschiedlichen Einschränkungen unterliegen. Die Verfahren sind entweder nur für Probleme mit ausschließlich diskreten Variablen anwendbar oder sie sind zwar auch für Probleme mit kontinuierlichen un­ diskreten Variablen anwendbar, dies allerdings nur unter der Voraussetzung, daß die bedingten Dichten aller kontinuierli­ chen Variablen gegeben alle diskreten Variablen normalver­ teilt sind.The known methods for learning Bayesian networks do especially the disadvantage that they differ Restrictions apply. The procedures are either only applicable for problems with only discrete variables or they are also for problems with continuous un Discrete variables applicable, but only under the Prerequisite that the conditional densities of all continuous given variables, all discrete variables are normalized are divided.

Der Erfindung liegt das Problem zugrunde, ein Verfahren zur rechnergestützten Ermittlung einer Bewertungsvariablen minde­ stens eines Bayesianischen Netzwerkgraphen anzugeben, das den im vorigen beschriebenen Einschränkungen nicht unterliegt, also anwendbar ist für kontinuierliche und diskrete Variablen für allgemeine Verteilungen der Variablen.The invention is based on the problem of a method for computer-aided determination of a valuation variable min at least one Bayesian network graph indicating the is not subject to the restrictions described above, is applicable for continuous and discrete variables for general distributions of the variables.

Die Probleme werden durch das Verfahren gemäß Patentanspruch 1 gelöst.The problems are solved by the method according to claim 1 solved.

Für mindestens einen Teil des Bayesianischen Netzwerkgraphens wird bei dem Verfahren gemäß Patentanspruch 1 jeweils für den Teil des Bayesianischen Netzwerkgraphen eine Varianz der Ba­ sis-Wahrscheinlichkeitsdichteverteilung des Teils unter Ver­ wendung einer zweiten Trainingsdatenmenge bestimmt. Dies er­ folgt beispielsweise durch eine sogenannte Kreuzvalidierung oder eine leave-one out Kreuzvalidierung. Für mindestens ei­ nen Datenpunkt einer ersten Trainingsdatenmenge wird eine spezifische Basis-Wahrscheinlichkeitsdichteverteilung ermit­ telt, indem für jeden Datenpunkt der ersten Trainingsdaten­ menge die Wahrscheinlichkeitsdichteverteilung mit der im vor­ angegangenen Schritt ermittelten Varianz und dem Datenpunkt als Zentrum der Wahrscheinlichkeitsdichteverteilung gebildet wird. Eine Gesamtverteilung wird ermittelt beispielsweise durch Bildung einer normierten Summe über die einzelnen Wahr­ scheinlichkeitsdichteverteilungen, die jeweils auf die Daten­ punkte der ersten Trainingsdatenmenge "gelegt" wurden. Die Bewertungsvariable wird nun ermittelt, indem ein Datenpunkt einer dritten Trainingsdatenmenge in die Gesamtverteilung "eingesetzt" wird.For at least part of the Bayesian network graph is in the method according to claim 1 for each Part of the Bayesian network graph shows a variance in Ba sis probability density distribution of the part under Ver determined using a second set of training data. This he follows, for example, by so-called cross-validation or leave-one out cross-validation. For at least one A data point of a first training data set becomes a specific base probability density distribution telt by the first training data for each data point  set the probability density distribution with that in the started step determined variance and the data point formed as the center of the probability density distribution becomes. An overall distribution is determined, for example by forming a normalized sum over the individual true probability density distributions, each based on the data points of the first set of training data were "placed". The Assessment variable is now determined by a data point a third set of training data in the overall distribution "used".

Durch diese Verfahren ist es nunmehr möglich, Bayesianische Netze zu "lernen" anhand von Variablen, die nach beliebigen, auch nichtlinearen Wahrscheinlichkeitsdichteverteilungen ver­ teilt sind.Through this process it is now possible to use Bayesian "Learn" networks based on variables that can be also ver nonlinear probability density distributions are divided.

Die Weiterbildung des Verfahrens gemäß Patentanspruch 2 weist den Vorteil auf, daß eine geringere Menge von Trainingsdaten benötigt wird.The development of the method according to claim 2 has the advantage of having a smaller amount of training data is needed.

Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 5 wird eine Verbesserung der Qualität der Bewertungsvariable erreicht, da mehrere Datenpunkte der dritten Trainingsdaten­ menge zur Ermittlung der Bewertungsvariable verwendet werden und somit die Ergebnisse eine größere "Aussagekraft" besit­ zen.By developing the method according to claim 5 will improve the quality of the evaluation variable reached because several data points of the third training data quantity can be used to determine the evaluation variable and thus the results are more "meaningful" Zen.

Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 6 ist es möglich, einen optimierten Bayesianischen Netzwerkgra­ phen zu ermitteln durch die Durchführung der im Patenanspruch 1 beschriebenen Verfahrensschritte unabhängig voneinander für mindestens zwei unterschiedliche Bayesianische Netzwerkgra­ phen. Nachdem für die mindestens zwei unterschiedlichen Baye­ sianischen Netzwerkgraphen die jeweiligen Bewertungsvariablen ermittelt wurden, werden diese miteinander verglichen und derjenige Bayesianische Netzwerkgraph als ein neuer Bayesia­ nische Netzwerkgraph klassifiziert, dessen Bewertungsvariable einen besseren Wert aufweist.By developing the method according to claim 6 it is possible to use an optimized Bayesian network phen to be determined by carrying out the in the patent claim 1 described process steps independently of each other for at least two different Bayesian network gra phen. After for the at least two different Baye sian network graphs the respective evaluation variables were determined, these are compared with each other and the Bayesian network graph as a new Bayesia  African network graph classified, its evaluation variable has a better value.

Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Further developments of the invention result from the dependent Claims.

Die Zeichnungen stellen ein Ausführungsbeispiel der Erfindung dar, das im folgenden näher beschrieben wird.The drawings illustrate an embodiment of the invention represents, which is described in more detail below.

Es zeigen:Show it:

Fig. 1 ein einfaches Beispiel eines Bayesianischen Netzwerk­ graphen mit fünf Variablen, deren kausale Abhängig­ keiten durch Pfeile angedeutet sind; Fig. 1 shows a simple example of a Bayesian network graph with five variables, the causal dependencies are indicated by arrows;

Fig. 2a und 2b zwei unterschiedliche Teile des in Fig. 1 dargestellten Bayesianischen Netzwerkgraphen; Figs. 2a and 2b show two different parts of the shown in Figure 1 Bayesian network graph.

Fig. 3 ein weiterer Bayesianischer Netzwerkgraph mit densel­ ben Variablen wie der Bayesianische Netzwerkgraph aus Fig. 1, wobei dieser Netzwerkgraph vollvermascht ist, was einer "vollverknüpften" Kausalität der Va­ riablen entspricht; Fig. 3 is a further Bayesian network graph with Densel ben variables such as the Bayesian network graph of Fig 1, this network graph is fully meshed, which corresponds to a variable of the "full linked" causality of Va.;

Fig. 4 ein Ablaufdiagramm, das die einzelnen Verfahrens­ schritte des Verfahrens gemäß Patentanspruch 1 dar­ stellt; Fig. 4 is a flowchart representing the individual method steps of the method according to claim 1;

Fig. 5 ein Ablaufdiagramm, das die Verfahrensschritte des Verfahrens gemäß Patentanspruch 6 beschreibt; FIG. 5 is a flowchart describing the method steps of the method according to claim 6;

Anhand der Fig. 1 bis 5 werden die erfindungsgemäßen Ver­ fahren weiter erläutert.Referring to Figs. 1 to 5 Ver the invention are further illustrated drive.

In Fig. 1 ist ein einfaches Beispiel eines Bayesianischen Netzwerkgraphen dargestellt. Dieser Bayesianische Netzwerk­ graph beschreibt die Abhängigkeiten zwischen fünf Variablen Ve, wobei eine natürliche Zahl e jeweils die Variable Ve ein­ deutig kennzeichnet und eine natürliche Zahl ist zwischen 1 und n. Die Zahl n gibt die Anzahl der in dem Bayesianischen Netzwerkgraphen eingebundenen Variablen an. Die Pfeile zwi­ schen den einzelnen Variablen Ve geben die Abhängigkeiten der Variablen voneinander an.In Fig. 1, a simple example is shown of a Bayesian network graph. This Bayesian network graph describes the dependencies between five variables Ve, where a natural number e clearly identifies the variable Ve and a natural number is between 1 and n. The number n indicates the number of variables included in the Bayesian network graph. The arrows between the individual variables Ve indicate the interdependencies of the variables.

Bei der Ermittlung einer Bewertungsvariable für einen Baye­ sianischen Netzwerkgraphen, ist die Struktur des zu bewerten­ den Bayesianischen Netzwerkgraphen vorgegeben.When determining a valuation variable for a Baye sian network graph, the structure of the is to be evaluated given the Bayesian network graph.

Für diese vorgegebene Struktur soll durch das im weiteren be­ schriebene Verfahren nunmehr anhand von Testdaten eine Bewer­ tungsvariable ermittelt werden.For this predefined structure, be written procedures now based on test data an evaluator tion variables can be determined.

Zur Bewertung der Struktur des Bayesianischen Netzwerkgraphen werden eine erste Trainingsdatenmenge, eine zweite Trainings­ datenmenge sowie eine dritte Trainingsdatenmenge verwendet.To evaluate the structure of the Bayesian network graph become a first training data set, a second training amount of data and a third set of training data.

Die Datenpunkte der Trainingsdatenmengen können auf unter­ schiedlichste Weise, abhängig von dem Anwendungsgebiet des Verfahrens, ermittelt werden, beispielsweise durch die Ermitt­ lung von Meßgrößen bei chemischen Prozessen oder auch durch Patientenbeobachtung in der Medizin.The data points of the training data sets can be found at various ways, depending on the application of the Procedure, be determined, for example by the investigator development of measured variables in chemical processes or through Patient observation in medicine.

Die einzelnen Variablen sind nach beliebigen Wahrscheinlich­ keitsdichteverteilungen verteilt. Sie sind in keinster Weise beschränkt auf diskrete Variablen oder auf ganz konkrete Ver­ teilungen, wie beispielsweise lineare Normalverteilungen, al­ so "mehrdimensionale Gauss-Glocken". Es kann ebenso vorgese­ hen sein, nicht die gesamte Struktur des Bayesianischen Netz­ werkgraphen, sondern nur Teile des Bayesianischen Netzwerk­ graphen zu bewerten.The individual variables are arbitrary after any distributed density distributions. They are in no way restricted to discrete variables or to very specific ver divisions, such as linear normal distributions, al so "multi-dimensional Gauss bells". It can also be done not the entire structure of the Bayesian network werkgraphs, but only parts of the Bayesian network to evaluate graphs.

Mögliche Teile des Bayesianischen Netzwerkgraphen, der in Fig. 1 dargestellt ist, zeigen die Fig. 2a und 2b. Possible parts of the Bayesian network graph shown in FIG. 1 are shown in FIGS. 2a and 2b.

In Fig. 2a sind nur die drei Variablen V1, V2 und V3 und de­ ren Abhängigkeiten voneinander dargestellt. In Fig. 2b sind die Variablen V3 und V5 und die Abhängigkeit zwischen diesen beiden Variablen dargestellt.In Fig. 2a only the three variables V1, V2 and V3 and their dependencies on each other are shown. The variables V3 and V5 and the dependency between these two variables are shown in FIG. 2b.

In dem in Fig. 4 dargestellten Ablaufdiagramm werden die einzelnen Verfahrensschritte des erfindungsgemäßen Verfahrens beschrieben.The individual process steps of the method according to the invention are described in the flow chart shown in FIG. 4.

Nachdem bestimmt wurde, welcher Teil i des Bayesianischen Netzwerkgraphen bewertet werden soll 40, wird in einem ersten Schritt 41 eine Varianz einer Basis-Wahrscheinlichkeitsdichteverteilung für den Teil des Bayesia­ nischen Netzwerkgraphen, der gerade zu bewerten ist, be­ stimmt.After determining which part i of the Bayesian Network graphs to be rated 40 will be in a first Step 41 a variance of a base probability density distribution for the part of Bayesia African network graph that is currently being evaluated, be Right.

Die Basis-Wahrscheinlichkeitsdichteverteilung ist vorzugswei­ se eine mehrdimensionale Gauss-Verteilung. Es ist jedoch nicht nötig, eine solche Basis-Verteilung zu verwenden. Bei diesem Verfahren sind auch andere Basis-Wahrscheinlichkeitsdichteverteilungen, zum Beispiel die Pois­ son-Verteilung oder ähnliche Wahrscheinlichkeitsdichtevertei­ lung sowie nichtlineare Verteilungen verwendbar.The base probability density distribution is preferably two se a multidimensional Gaussian distribution. However, it is no need to use such a basic distribution. At other basic probability density distributions, for example the pois son distribution or similar probability density distribution tion as well as non-linear distributions can be used.

Die Bestimmung der Varianz der Basis-Wahrscheinlichkeitsdichteverteilung basiert auf Datenpunkten der zweiten Trainingsdatenmenge und kann auf unterschiedliche Arten erfolgen.Determining the variance of the base probability density distribution based on data points the second set of training data and can be different Species.

In einer ersten Variante des Verfahrens ist es vorgesehen, die Varianz der Basis-Wahrscheinlichkeitsdichteverteilungen durch eine sogenannte Kreuzvalidierung der Datenpunkte der zweiten Trainingsdatenmenge zu bestimmen. Das Verfahren der Kreuzvalidierung ist bekannt und beschrieben in (L. Breiman, Classification and Regression Trees, The Wadsworth stati­ stics/probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, S. 11, 1984). In a first variant of the method, the variance of the base probability density distributions through a so-called cross-validation of the data points of the to determine the second set of training data. The procedure of Cross-validation is known and described in (L. Breiman, Classification and Regression Trees, The Wadsworth stati stics / probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, P. 11, 1984).  

In einer zweiten Variante des Verfahrens ist es vorgesehen, die Varianz der Basis-Wahrscheinlichkeitsdichteverteilungen durch eine leave-one out-Kreuzvalidierung der Datenpunkte der zweiten Trainingsdatenmenge zu bestimmen. Auch das Verfahren der leave-one out-Kreuzvalidierung ist bekannt (L. Breiman, Classification and Regression Trees, The Wadsworth stati­ stics/probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, S. 12, 1984).In a second variant of the method, the variance of the base probability density distributions through a leave-one out cross-validation of the data points of the to determine the second set of training data. The procedure too leave-one out cross-validation is known (L. Breiman, Classification and Regression Trees, The Wadsworth stati stics / probality series, J. Kimmel (ed.), ISBN 0-534-98053-8, P. 12, 1984).

In einer dritten Variante des Verfahrens ist es vorgesehen, die Varianz der Basis-Wahrscheinlichkeitsdichteverteilungen über eine allgemeine Abschätzung und ohne Verwendung einer zweiten Trainingsdatenmenge zu bestimmen.A third variant of the method provides the variance of the base probability density distributions about a general estimate and without using a to determine the second set of training data.

Die hierfür benötigte Vorgehensweise wird im folgenden näher erläutert:
N bezeichnet eine Dimensionalität eines gemeinsamen Raumes einer zu modellierenden Variable und ihrer Elternvariable. Dies bedeutet, daß N-1 eine Anzahl der Elternvariablen für die zu modellierende Variable angibt.
The procedure required for this is explained in more detail below:
N denotes a dimensionality of a common space of a variable to be modeled and its parent variable. This means that N-1 specifies a number of parent variables for the variable to be modeled.

Mit D wird eine Anzahl von Datenpunkten in der ersten Trai­ ningsdatenmenge bezeichnet.D is a number of data points in the first trai amount of data.

Aus (R. Duda and P. Hart, Pattern Classification and Scene Analysis, John Wiley & Sons Inc., ISBN 0-471-22361-1, S. 90, 1973) ist bekannt, daß für eine Standardabweichung σ, die als eine Funktion von der Anzahl von Datenpunkten in der ersten Trainingsdatenmenge D, im Limes für die Anzahl von Datenpunk­ ten in der ersten Trainingsdatenmenge D gegen Unendlich gegen den Wert Null konvergiert, so daß aber gleichzeitig ein Term D*σN gegen Unendlich divergiert. Somit führt dies zu einer beliebig guten Approximation der wahren Wahrscheinlichkeits­ dichteverteilung für eine hinreichend große Anzahl von Daten­ punkten in der ersten Trainingsdatenmenge D. From (R. Duda and P. Hart, Pattern Classification and Scene Analysis, John Wiley & Sons Inc., ISBN 0-471-22361-1, p. 90, 1973) it is known that for a standard deviation σ, which as a Function of the number of data points in the first training data set D, in the limit for the number of data points in the first training data set D converging towards infinity against the value zero, so that at the same time a term D * σ N diverges towards infinity. This leads to an arbitrarily good approximation of the true probability density distribution for a sufficiently large number of data points in the first training data set D.

Somit wird für die dritte Variante des Verfahrens als Varianz der Basis-Wahrscheinlichkeitsdichteverteilungen das Quadrat der StandardabweichungThus, the third variant of the method is called variance of the base probability density distributions is the square the standard deviation

gewählt, alsochosen, so

Für die Basis-Wahrscheinlichkeitsdichteverteilung ist nun die Varianz und die Art der Wahrscheinlichkeitsdichteverteilung selbst bekannt.For the base probability density distribution is now Variance and the type of probability density distribution self-known.

In einem weiteren Schritt 42 wird für mindestens einen Daten­ punkt der ersten Trainingsdatenmenge eine spezifische Wahr­ scheinlichkeitsdichteverteilung gebildet.In a further step 42, for at least one data a specific true at the point of the first training data set distribution of probability density.

Dies erfolgt durch "verschieben" der Basis-Wahrscheinlichkeitsdichteverteilung mit der Varianz in der Weise, daß der Datenpunkt der ersten Trainingsdatenmenge je­ weils in dem Zentrum der spezifischen Wahrscheinlichkeits­ dichteverteilung liegt.This is done by "moving" the Base probability density distribution with the variance in the Way that the data point of the first training data set ever because in the center of the specific probability density distribution lies.

Bei mehreren Datenpunkten der ersten Trainingsdatenmenge wird jeweils für jeden Datenpunkt die spezifische Wahrscheinlich­ keitsdichteverteilung mit der Varianz und der Form der Basis-Wahrscheinlichkeitsdichteverteilung einmal auf den jeweiligen Datenpunkt der ersten Trainingsdatenmenge "gelegt".If there are several data points of the first training data set, the specific probability for each data point density distribution with the variance and the shape of the Base probability density distribution once on each Data point of the first training data set "placed".

Dies bedeutet, daß bei in Datenpunkten also genau m Wahr­ scheinlichkeitsdichteverteilungen gebildet werden.This means that if there are exactly m true in data points probability density distributions are formed.

Die ermittelten spezifischen Wahrscheinlichkeitsdichtevertei­ lungen werden gespeichert 43.The determined specific probability density distribution Lungs are saved 43.

Aus diesen gespeicherten spezifischen Wahrscheinlichkeits­ dichteverteilungen wird eine Gesamtverteilung gebildet, indem vorzugsweise eine normierte Summe der spezifischen Wahr­ scheinlichkeitsdichteverteilungen gebildet wird 44. From these stored specific probability density distributions an overall distribution is formed by preferably a normalized sum of the specific true probability density distributions is formed 44.  

In allgemeiner Form, also unabhängig auch von dem in Fig. 1 dargestellten Bayesianischen Netzwerkgraphen bedeutet die Bildung der normierten Summe folgende Vorgehensweise:In a general form, that is to say independently of the Bayesian network graph shown in FIG. 1, the formation of the normalized sum means the following procedure:

ΣG(Pe; Pe; (σe))ΣG (Pe; Pe; (σ e ))

Hierbei bezeichnet k = 1P (Ve|Pe) die bedingte Wahrscheinlichkeit des Auftretens der Variable Ve, falls ihre jeweiligen Kausal­ variablen Pe "eingetreten" sind. Als Kausalitätsvariablen Pe werden diejenigen Variablen eines Bayesianischen Netzwerkgra­ phen bezeichnet, die in der Kausalbeschreibung des Bayesiani­ schen Netzwerkgraphen ursächlich sind für das Auftreten der Variable Ve. Bildlich gesprochen sind dies also diejenigen Variablen, die sich an den Anfangspunkten der Pfeile befin­ den, deren Pfeilspitze auf die Variable Vi deuten.Here k = 1P (Ve | Pe) denotes the conditional probability the occurrence of the variable Ve if its respective causal variable Pe "occurred". As a causality variable Pe become those variables of a Bayesian network gra phen referred to in the causal description of the Bayesiani network graphs are responsible for the occurrence of the Variable Ve. Figuratively speaking, these are the ones Variables that are at the starting points of the arrows the one whose arrowhead points to the variable Vi.

Mit dem Symbol G ((Ve, Pe); (Vek, Pek), σe k) ist in der oben beschriebenen Formel die Basis-Wahrscheinlichkeits­ dichteverteilung bezeichnet mit der Varianz (σe k)² der Basis-Wahrscheinlichkeitsdichteverteilung. Hierbei kann die Varianz (σe k)² der Basis-Wahrscheinlichkeitsdichteverteilung ein Ska­ lar oder auch ein Vektor sein. (Ve, Pe) ist die Angabe der Variablen Ve und den zugehörigen Kausalvariablen Pe, auf die sich die Wahrscheinlichkeitsdichteverteilung bezieht. Mit (Vek, Pek) wird der Datenpunkt der ersten Trainingsdatenmenge bezeichnet, der das Zentrum der jeweiligen k-ten spezifischen Wahrscheinlichkeitsdichteverteilung bildet. Durch einen Laufindex k wird beschrieben, daß die Summe über D spezifi­ sche Wahrscheinlichkeitsdichteverteilungen gebildet wird.The symbol G ((Ve, Pe); (Ve k , Pe k ), σ e k ) in the above-described formula denotes the base probability density distribution with the variance (σ e k ) ² of the base probability density distribution. The variance (σ e k ) ² of the base probability density distribution can be a scalar or a vector. (Ve, Pe) is the specification of the variable Ve and the associated causal variables Pe, to which the probability density distribution relates. (Ve k , Pe k ) denotes the data point of the first training data set which forms the center of the respective kth specific probability density distribution. A running index k describes that the sum is formed over D specific probability density distributions.

Mit dem Laufindex k wird also der jeweilige Datenpunkt der ersten Trainingsdatenmenge eindeutig bezeichnet, auf den die jeweilige spezifische Wahrscheinlichkeitsdichteverteilung "gelegt" wird. With the running index k the respective data point becomes the the first set of training data to which the respective specific probability density distribution "is placed.  

Der im Nenner sich befindende Term dient zur Normierung der bedingten Wahrscheinlichkeit P(Ve|Pe) des Auftretens der Va­ riable Ve.The term in the denominator is used to standardize the conditional probability P (Ve | Pe) of the occurrence of the Va riable Ve.

In einem letzten Schritt 45 wird nun die Bewertungsvariable des Bayesianischen Netzwerkgraphen gebildet, indem mindestens ein Datenpunkt der dritten Trainingsdatenmenge in die Gesamt­ verteilung eingesetzt wird. Das Ergebnis der Gesamtverteilung für den jeweiligen Datenpunkt der dritten Trainingsdatenmenge ergibt die Bewertungsvariable.In a last step 45, the evaluation variable is now of the Bayesian network graph formed by at least a data point of the third set of training data in the total distribution is used. The result of the overall distribution for the respective data point of the third training data set results in the evaluation variable.

Um eine aussagekräftigere Bewertungsvariable zu erhalten, ist es in einer weiteren Variante des Verfahrens vorgesehen, meh­ rere Datenpunkte der dritten Trainingsdatenmenge in die Ge­ samtverteilung einzusetzen und aus den Ergebnissen der ein­ zelnen Bewertungen für die jeweiligen Datenpunkte ein Produkt zu bilden. Dieses Produkt bildet dann eine aussagekräftigere Bewertungsvariable.To get a more meaningful evaluation variable, is it provided in a further variant of the method, meh more data points of the third training data set in the Ge complete distribution and from the results of the individual ratings for the respective data points a product to build. This product then forms a more meaningful one Evaluation variable.

Diese Vorgehensweise wird, abhängig von schon bekannten Ab­ hängigkeiten und bedingten Wahrscheinlichkeiten für eine be­ liebige Anzahl von Teilen des Bayesianischen Netzwerkgraphen durchgeführt.This procedure is, depending on already known Ab dependencies and conditional probabilities for a be any number of parts of the Bayesian network graph carried out.

Wenn die Gesamtstruktur des Bayesianischen Netzwerkgraphen bewertet werden soll, ist es nötig, für jede Variable die Be­ wertungsvariable für den Teil bestehend aus dieser Variablen und ihren Eltern, also ihren Kausalvariablen, in dem Bayesia­ nischen Netzwerkgraphen zu bestimmen. Die Bewertungsvariable für die Gesamtstruktur ergibt sich dann als Produkt der Be­ wertungsvariablen für die Teile.If the overall structure of the Bayesian network graph to be evaluated, it is necessary to assign the Be scoring variable for the part consisting of this variable and her parents, her causal variables, in the Bayesia African network graphs. The evaluation variable for the overall structure, the product is then the Be scoring variables for the parts.

Sind also mehrere Teile des Bayesianischen Netzwerkgraphen zu bewerten, so wird dies in einem Schritt 46 überprüft und, falls es der Fall ist, daß noch weitere Teile bewertet werden sollen, wird der Index i auf einen neuen Index inew gesetzt, der den nunmehr zu bewertenden Teil bezeichnet 48. Anschlie­ ßend wird das Verfahren von neuem durchgeführt, nun mit dem Teil des Bayesianischen Netzwerkgraphen, der durch den neuen Index inew bezeichnet wird.If several parts of the Bayesian network graph are to be evaluated, this is checked in a step 46 and, if it is the case that further parts are to be evaluated, the index i is set to a new index i new , which now belongs to the evaluating part designated 48. The method is then carried out again, now with the part of the Bayesian network graph which is designated by the new index i new .

Wird dieses Verfahren nicht mehr weitergeführt, ist die ge­ suchte Bewertungsvariable gefunden 47.If this procedure is not continued, the ge searched valuation variable found 47.

Je nach verwendetem Verfahren zur Bildung der Varianz der Wahrscheinlichkeitsdichteverteilung kann es möglich sein, daß die Datenpunkte der zweiten Trainingsdatenmenge und die Da­ tenpunkte der dritten Trainingsdatenmenge teilweise oder ganz übereinstimmen. Es kann ebenso vorgesehen sein, daß die zwei­ te Trainingsdatenmenge nicht vorhanden ist, wie dies bei der dritten Variante im vorigen beschrieben wurde.Depending on the method used to form the variance of the Probability density distribution it may be possible that the data points of the second training data set and the Da Partial or all of the third training data set to match. It can also be provided that the two te amount of training data is not available, as is the case with the third variant was described in the previous.

Wenn dies möglich ist, wird eine erhebliche Reduktion der be­ nötigten Trainingsdaten erreicht oder eine größere Anzahl von Trainingsdaten kann als erste Trainingsdatenmenge zur Bestim­ mung der Gesamtverteilung verwendet werden, was zu einer ver­ läßlicheren Gesamtverteilung führt, da eine größere Anzahl spezifischer Wahrscheinlichkeitsdichteverteilungen gebildet werden können, wodurch eine bessere Approximation der tat­ sächlichen Verteilung durch die Gesamtverteilung erreicht wird.If this is possible, the be required training data or a larger number of Training data can be the first set of training data for determination Distribution of the overall distribution can be used, which leads to a ver more casual overall distribution, since a larger number specific probability density distributions can be, making a better approximation of the tat neuter distribution achieved by the total distribution becomes.

Für die Problemstellung, daß nicht ein fest vorgegebener Bay­ esianischer Netzwerkgraph bewertet werden soll, sondern die optimale Struktur des Bayesianischen Netzwerkgraphen erst "gelernt" werden soll aus unbekannten Strukturen, wird fol­ gende Weiterbildung des erfindungsgemäßen Verfahrens verwen­ det.For the problem that not a fixed bay esian network graph should be evaluated, but the optimal structure of the Bayesian network graph "to be learned" from unknown structures, fol use further development of the method according to the invention det.

Man beginnt mit einem beliebigen Bayesianischen Netzwerkgra­ phen.You start with any Bayesian network gra phen.

Vorzugsweise ist die Struktur des Bayesianischen Netzwerkgra­ phen zu Beginn des Verfahrens voll vermascht. Dies ist aber nicht notwendigerweise der Fall. Es können beliebige Struktu­ ren als Anfangsstruktur des Bayesianischen Netzwerkgraphen gewählt werden.The structure of the Bayesian network is preferred phen fully meshed at the beginning of the process. But this is  not necessarily the case. Any structure can be used ren as the initial structure of the Bayesian network graph to get voted.

Es ist auch möglich bereits vorhandenes Wissen über bestimmte Kausalitäten oder Unabhängigkeiten der einzelnen Variablen schon in der Struktur des Anfangsgraphen selbst zu berück­ sichtigen.It is also possible to have existing knowledge about certain Causalities or independence of the individual variables already in the structure of the initial graph itself sight.

Mit diesem Anfangsgraphen wird mindestens ein weiterer Baye­ sianischer Netzwerkgraph verglichen 51, 52, 53, dessen Struk­ tur bzw. deren Strukturen sich von der Struktur des Anfangs­ graphen unterscheidet bzw. unterscheiden.With this initial graph, at least one other Bayesian network graph is compared 51, 52, 53 , the structure or structures of which differ from the structure of the initial graph.

Für alle Bayesianischen Netzwerkgraphen wird nun unabhängig voneinander das im vorigen beschriebene Verfahren zur Bewer­ tung eines Bayesianischen Netzwerkgraphen durchgeführt L.For all Bayesian network graphs is now independent from each other the procedure for evaluating described in the previous development of a Bayesian network graph L.

Man erhält also bei einer Anzahl von 1 Bayesianischen Netz­ werkgraphen genau auch 1 Bewertungsvariablen.So you get with a number of 1 Bayesian network werkgraphs also exactly 1 evaluation variable.

Bei dieser Vorgehensweise sind mehrere Varianten vorgesehen. Es ist möglich, jeweils zwei Bayesianische Netzwerkgraphen miteinander zu vergleichen und den Bayesianischen Netzwerk­ graphen mit dem besseren Wert der Bewertungsvariablen zu wäh­ len und den jeweils anderen Bayesianischen Netzwerkgraphen zu verwerfen.There are several options for this approach. It is possible to have two Bayesian network graphs compare with each other and the Bayesian network graphs with the better value of the evaluation variables len and the other Bayesian network graphs discard.

Auch stochastische Varianten des Algorithmus sind in diesem Zusammenhang denkbar, bei denen die Entscheidungen zwischen den betrachteten Bayesianischen Netzwerkgraphen zufällig, aber mit höherer Wahrscheinlichkeit für den besseren Bayesia­ nischen Netzwerkgraphen getroffen wird.There are also stochastic variants of the algorithm Connection conceivable in which the decisions between by chance the Bayesian network graph considered, but more likely for the better Bayesia African network graph is hit.

Besser kann in diesem Zusammenhang bedeuten, abhängig von der Fragestellung, daß die bessere Bewertungsvariable größer ist als alle anderen bisher ermittelten Bewertungsvariablen. Dies ist der Fall, wenn als Bewertungsvariable direkt die Werte der bedingten Wahrscheinlichkeiten verwendet werden.Better in this context can mean depending on the Question that the better evaluation variable is larger than all other evaluation variables determined so far. This  is the case if the values are directly used as the evaluation variable of conditional probabilities are used.

Werden jedoch beispielsweise der Kehrwert der bedingten Wahr­ scheinlichkeiten oder die Negation (1-P(Ve|Pe)) der bedingten Wahrscheinlichkeiten als Bewertungsvariable verwendet, ergibt sich die bessere Bewertungsvariable beispielsweise aus dem Minimum aller bisher ermittelten Bewertungsvariablen.However, for example, the reciprocal of the conditional true probabilities or the negation (1-P (Ve | Pe)) of the conditional Probabilities used as evaluation variable results the better evaluation variable, for example, from the Minimum of all evaluation variables determined so far.

In einer weiteren Variante des Verfahrens werden alle Baye­ sianischen Netzwerkgraphen parallel "bewertet". Dies bedeu­ tet, daß nach Bildung aller 1 Bewertungsvariablen das Optimum der Bewertungsvariablen gesucht wird. In diesem Fall ist dann das Bayesianische Netzwerk das optimale, welches die optimale Bewertungsvariable erhalten hatte 54.In a further variant of the process, all Baye Sian network graphs "rated" in parallel. This means tet that after all 1 evaluation variables have been formed, the optimum the evaluation variable is sought. In this case, then the Bayesian network the optimal, which the optimal Had received valuation variable 54.

Optimal bedeutet in diesem Zusammenhang je nach Anwendungs­ fall wiederum Minimum oder Maximum der Bewertungsvariable.In this context, optimal means depending on the application again fall minimum or maximum of the evaluation variable.

Auch Zwischenformen dieser beiden im vorigen beschriebenen Vorgehensweisen sind in weiteren Varianten vorgesehen.Intermediate forms of these two described above Procedures are provided in further variants.

Dies bedeutet, daß dieses Verfahren iterativ so lange fortge­ setzt werden kann, bis die Bewertungsvariable eine frei wähl­ bare vorgebbare Schranke übersteigt 55, 56, 57. Diese Schran­ ke dient als eine Art Qualitätssicherung des erlernten Baye­ sianischen Netzwerkgraphen.This means that this process continues iteratively for so long can be set until the evaluation variable chooses one freely The predefinable barrier exceeds 55, 56, 57. This barrier ke serves as a kind of quality assurance of the learned Baye sian network graph.

Bei einer iterativen Wiederholung des Verfahrens werden wie­ derum neue Bayesianische Netzwerkgraphen bestimmt, die bisher noch nicht bewertet wurden 58, Diese werden nun mit dem bes­ seren Bayesianischen Netzwerkgraphen "verglichen". Die Er­ mittlung neuer Bayesianischer Netzwerkgraphen kann auf unter­ schiedlichste Weise erfolgen, beispielsweise durch systemati­ sches Weglassen, Hinzufügen von Kausalitäten. Es kann aber jede andere Möglichkeit, auf anderem Wege, beispielsweise auch eine auf Zufall basierende Erstellung der neuen Bayesia­ nischen Netzwerkgraphen, in dem erfindungsgemäßen Verfahren eingesetzt werden.If the procedure is repeated iteratively, how which is why new Bayesian network graphs have been determined have not been rated 58 yet "compared" our Bayesian network graph. The he New Bayesian network graphs can be found at in a variety of ways, for example through systematics omission, adding causalities. But it can any other way, in other ways, for example also a random creation of the new Bayesia  African network graphs, in the method according to the invention be used.

Alternativ kann auch folgendes Abbruchkriterium für das Ver­ fahren verwendet werden: Hierbei wird bei dem Verfahren so­ lange iteriert, bis innerhalb einer vorgebbaren Anzahl von Schritten keine Verbesserung über einen vorgebbaren Schwell­ wert erzielt wurde.Alternatively, the following termination criterion for Ver driving can be used: The procedure here is as follows long iterates until within a predeterminable number of Steps no improvement over a predefinable threshold worth was achieved.

Die Bildung verschiedener Bayesianischer Netzwerkgraphen bei dem iterativen Vergleich zwischen mehreren Bayesianischen Netzwerkgraphen kann sowohl durch Löschen von Kausalitätsbe­ ziehungen zwischen den Variablen, also den Pfeilen, Hinzufü­ gen von Kausalitätsbeziehungen oder auch durch Umkehren der Richtung von Kausalitätsbeziehungen erfolgen.The formation of various Bayesian network graphs the iterative comparison between several Bayesian Network graphs can be deleted by deleting causality additions between the variables, i.e. the arrows conditions of causality or by reversing the Direction of causality relationships take place.

Claims (10)

1. Verfahren zur rechnergestützten Ermittlung einer Bewer­ tungsvariable mindestens eines Bayesianischen Netzwerkgra­ phen, bei dem für mindestens einen Teil des mindestens einen Baye­ sianischen Netzwerkgraphen folgende Schritte vorgesehen wer­ den:
  • a) eine Varianz einer Basis-Wahrscheinlichkeitsdichteverteilung des Teils wird unter Verwendung einer zweiten Trainingsdatenmenge bestimmt,
  • b) für mindestens einen Datenpunkt einer ersten Trainingsda­ tenmenge wird eine spezifische Wahrscheinlichkeitsdichte­ verteilung mit der Varianz der Basis-Wahrscheinlichkeitsdichteverteilung und einem dem Daten­ punkt entsprechenden Zentrum der Wahrscheinlichkeitsdichte­ verteilung ermittelt,
  • c) die ermittelten Wahrscheinlichkeitsdichteverteilungen wer­ den gespeichert,
  • d) aus den gespeicherten Wahrscheinlichkeitsdichteverteilun­ gen wird eine Gesamtverteilung gebildet, und
  • e) die Bewertungsvariable wird mit Hilfe mindestens eines Da­ tenpunkts einer dritten Trainingsdatenmenge ermittelt, der in die Gesamtverteilung eingesetzt wird.
1. Method for the computer-aided determination of an evaluation variable of at least one Bayesian network graph, in which the following steps are provided for at least part of the at least one Bayesian network graph:
  • a) a variance of a base probability density distribution of the part is determined using a second set of training data,
  • b) for at least one data point of a first training data set, a specific probability density distribution is determined with the variance of the basic probability density distribution and a center of the probability density distribution corresponding to the data point,
  • c) the determined probability density distributions are saved,
  • d) an overall distribution is formed from the stored probability density distributions, and
  • e) the evaluation variable is determined with the aid of at least one data point of a third set of training data, which is used in the overall distribution.
2. Verfahren nach Anspruch 1, bei dem die Datenpunkte der zweiten Trainingsdatenmenge und die Datenpunkte der dritten Trainingsdatenmenge teilweise oder ganz übereinstimmen.2. The method according to claim 1, where the data points of the second training data set and the data points of the third training data set partially or match completely. 3. Verfahren nach Anspruch 1 oder 2,
  • - bei dem die Datenpunkte der ersten Trainingsdatenmenge und der zweiten Trainingsdatenmenge teilweise oder ganz überein­ stimmen, und
  • - bei dem die Varianz der Basis-Wahrscheinlichkeitsdichtever­ teilung durch eine leave-one-out-Kreuzvalidierung ermittelt werden.
3. The method according to claim 1 or 2,
  • - in which the data points of the first training data set and the second training data set match partially or completely, and
  • - in which the variance of the base probability density distribution is determined by a leave-one-out cross-validation.
4. Verfahren nach Anspruch 1 oder 2, bei dem die Varianz der Basis-Wahrscheinlichkeitsdichteverteilung durch eine Kreuzvalidie­ rung ermittelt werden.4. The method according to claim 1 or 2, where the variance of Basis probability density distribution through a cross validation tion can be determined. 5. Verfahren nach Anspruch 1 oder 2, bei dem die Varianz der Basis-Wahrscheinlichkeitsdichteverteilung bestimmt wird durch wobei
N eine Dimensionalität eines gemeinsamen Raumes einer zu modellierenden Variable und ihrer Kausalitätsvariable be­ zeichnet, und
D die Anzahl der Datenpunkte in der ersten Trainingsdaten­ menge angibt.
5. The method of claim 1 or 2, wherein the variance of the base probability density distribution is determined by in which
N denotes a dimensionality of a common space of a variable to be modeled and its causality variable, and
D indicates the number of data points in the first training data set.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Bewertungsvariable sich ergibt aus einem Produkt der Gesamtverteilungen, in die jeweils unterschiedliche Da­ tenpunkte der dritten Trainingsdatenmenge eingesetzt werden.6. The method according to any one of claims 1 to 5, where the evaluation variable results from a product of the total distributions, in which different Da points of the third training data set are used. 7. Verfahren nach einem der Ansprüche 1 bis 6,
  • - bei dem für mindestens einen Teil zweier Bayesianischer Netzwerkgraphen das Verfahren unabhängig voneinander durchge­ führt wird, und
  • - bei dem als ein neuer Bayesianischer Netzwerkgraph derjeni­ ge ausgewählt wird, dessen Bewertungsvariable einen besseren Wert aufweist.
7. The method according to any one of claims 1 to 6,
  • - in which the method is carried out independently of one another for at least part of two Bayesian network graphs, and
  • - in which, as a new Bayesian network graph, those are selected whose valuation variable has a better value.
8. Verfahren nach Anspruch 7, bei dem die unterschiedlichen Bayesianischen Netzwerkgraphen sich ergeben durch Änderungen des ursprünglichen Bayesiani­ schen Netzwerkgraphen oder des neuen Bayesianischen Netzwerk­ graphen.8. The method according to claim 7,  where the different Bayesian network graphs arise from changes in the original Bayesiani network graph or the new Bayesian network graphs. 9. Verfahren nach Anspruch 7 oder 8, bei dem das Verfahren solange wiederholt wird, bis die Bewer­ tungsvariable des aktuell neuen Bayesianischen Netzwerkgra­ phen einen Schrankenwert erreicht.9. The method according to claim 7 or 8, in which the procedure is repeated until the evaluators variable of the currently new Bayesian network gra phen reached a limit. 10. Verfahren nach einem der Ansprüche 7 bis 9, bei dem als die Änderungen des Bayesianischen Netzwerkgraphen Löschen von mindestens einer Kausalitätsbeziehung und/oder Hinzufügen von mindestens einer Kausalitätsbeziehung und/oder Umkehren von mindestens einer Kausalitätsbeziehungen vorgese­ hen sind.10. The method according to any one of claims 7 to 9, where as the changes to the Bayesian network graph Deletion of at least one causality relationship and / or Add at least one causal relationship and / or Reverse at least one causality relationship hen are.
DE1995149300 1995-11-24 1995-11-24 Evaluation variable determination system for Bayesian network graph Expired - Fee Related DE19549300C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE1995149300 DE19549300C1 (en) 1995-11-24 1995-11-24 Evaluation variable determination system for Bayesian network graph

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE1995149300 DE19549300C1 (en) 1995-11-24 1995-11-24 Evaluation variable determination system for Bayesian network graph

Publications (1)

Publication Number Publication Date
DE19549300C1 true DE19549300C1 (en) 1997-02-20

Family

ID=7781751

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1995149300 Expired - Fee Related DE19549300C1 (en) 1995-11-24 1995-11-24 Evaluation variable determination system for Bayesian network graph

Country Status (1)

Country Link
DE (1) DE19549300C1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19721067C1 (en) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastic estimator
DE10134093A1 (en) * 2001-07-13 2003-01-30 Siemens Ag Removing connections from network, considers statistical independence at each node to derive a removal rule which is then optimized and simplified
DE102004007215A1 (en) * 2004-02-13 2005-09-15 Siemens Ag Method and computer program with program code means and computer program product for determining a structure contained in data using demountable graphic models
US7149649B2 (en) 2001-06-08 2006-12-12 Panoratio Database Images Gmbh Statistical models for improving the performance of database operations

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
2nd ed., Englewood Cliffs, New Jersey, Prentice-Hall, Inc., 1991, S. 3-53 und 795-797 ISBN 0-13-013236-5 *
HAYKIN, Simon: Adaptive Filter Theory *
ROJAS,Raul: Theorie der neuronalen Netze, Berlin, Springer-Verlag, 1993, S. 73-119 ISBN 3-540-56353-9 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19721067C1 (en) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastic estimator
US7149649B2 (en) 2001-06-08 2006-12-12 Panoratio Database Images Gmbh Statistical models for improving the performance of database operations
DE10134093A1 (en) * 2001-07-13 2003-01-30 Siemens Ag Removing connections from network, considers statistical independence at each node to derive a removal rule which is then optimized and simplified
DE10134093C2 (en) * 2001-07-13 2003-05-08 Siemens Ag Method and arrangement for removing connections from a network with nodes and connections
DE102004007215A1 (en) * 2004-02-13 2005-09-15 Siemens Ag Method and computer program with program code means and computer program product for determining a structure contained in data using demountable graphic models

Similar Documents

Publication Publication Date Title
EP1530779B1 (en) Method, data processing device and computer program product for processing data
EP3736817A1 (en) Checking and / or improvement in the consistency of data codes in medical image processing
EP2854045B1 (en) Method and system for the evaluation of recorded measured values of a system
AT412678B (en) METHOD FOR COMPUTER-ASSISTED PREPARATION OF PROGNOSES FOR OPERATIONAL SYSTEMS AND SYSTEM FOR CREATING PROGNOSES FOR OPERATIONAL SYSTEMS
EP0875808A2 (en) Method and system for generating a process model of a technical installation
EP0901658A1 (en) Process for optimizing fuzzy rules using a computer
DE19549300C1 (en) Evaluation variable determination system for Bayesian network graph
DE102018216078A1 (en) Method and device for operating a control system
EP3716058A1 (en) Method for operating a device with a new program code
DE102007044380A1 (en) Computer-aided studying of probabilistic network from data record of measured, experimentally determined and/or empirical values, comprises studying structure of non-directed graphs having nodes and non-directed edges from the data record
EP1254415A1 (en) Device, storage medium and a method for detecting objects strongly resembling a given object
DE60309191T2 (en) SYSTEM FOR FUZZY ASSOCIATES DESCRIPTION OF MULTIMEDIA OBJECTS
EP2996001A1 (en) Method for computer-based analysis of a data set from observations
EP3637354A1 (en) Method for operating an electronic apparatus having an optimum program code
EP0846306B1 (en) Method of calculating and/or analysing and/or detecting a complex system
DE102022207482B4 (en) Computer-implemented method for determining a data quality index, computer program and control unit
WO2020094415A1 (en) Measurement method and measurement apparatus for determining a technical property of a program code for controlling an electronic device
DE102022107010A1 (en) System and method for identifying objects
DE102020115344A1 (en) Method and device for the automatic investigation of the behavior of a technical facility
WO2010060746A2 (en) Method and device for the automatic analysis of models
EP4242929A1 (en) Computer-implemented method for training an artificial neural network (ann) with a sample focus point optimization for increasing classification accuracy of the ann and training device
DE102021202564A1 (en) Device and in particular computer-implemented method for classifying data sets
DE10032029A1 (en) Process used for analyzing products comprises generating a universal factor set from a number of materials, acquiring actual spectra, and determining and using the optimum universal factors for analyzing materials
DE202021103700U1 (en) Device for generating an artificial neural network
WO2023099481A1 (en) System and method for identifying objects

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee