DE102016113310A1

DE102016113310A1 - A method for evaluating statements of a plurality of sources about a plurality of facts

Info

Publication number: DE102016113310A1
Application number: DE102016113310.8A
Authority: DE
Inventors: Gjergji Kasneci; Thomas Gottron; Klaus Broelemann
Original assignee: Schufa Holding AG
Current assignee: Schufa Holding AG
Priority date: 2016-07-19
Filing date: 2016-07-19
Publication date: 2018-01-25

Abstract

Die Erfindung betrifft ein Computer-implementiertes Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten durch ein künstliches, neuronales Netz, mit einer ersten Menge künstlicher Neuronen in einer ersten Schicht und wenigstens einem künstliches Neuron in einer zweiten Schicht. Alle künstlichen Neuronen der ersten Schicht sind dabei mit dem künstlichen Neuron der zweiten Schicht verbunden, wobei jeder Verbindung zwischen einem künstlichen Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht ein Verbindungsgewicht zugeordnet ist. Den Quellen ist jeweils wenigstens ein Zuverlässigkeitsmaß zugeordnet, welches die Zuverlässigkeit von Aussagen der Quelle bezeichnet. Zunächst werden die Zuverlässigkeitsmaße der Quellen ermittelt und den Verbindungen des neuronalen Netzes basierend auf den Zuverlässigkeitsmaßen Verbindungsgewichte zugeordnet. Dann werden die Ausgangszustände der künstlichen Neuronen der ersten Schicht auf Grundlage der Aussagen wenigstens einer Quelle aus der Mehrzahl von Quellen zu einem ersten Faktum initialisiert. Durch wiederholtes Sampling der Ausgabezustände der Neuronen der ersten und zweiten Schicht, werden die Verbindungsgewichte sukzessive angepasst, bis die Veränderung der Verbindungsgewichte auf Grundlage des Samplings unterhalb eines definierten Grenzwerts liegt.The invention relates to a computer-implemented method for evaluating statements of a plurality of sources from a plurality of facts by an artificial neural network comprising a first set of artificial neurons in a first layer and at least one artificial neuron in a second layer. All artificial neurons of the first layer are connected to the artificial neuron of the second layer, wherein each connection between an artificial neuron of the first layer and the artificial neuron of the second layer is assigned a connection weight. The sources are each assigned at least one reliability measure, which designates the reliability of statements of the source. First, the reliability measures of the sources are determined and associated with the connections of the neural network based on the reliability measures connection weights. Then, the initial states of the artificial neurons of the first layer are initialized to a first fact based on the statements of at least one source from the plurality of sources. By repetitively sampling the output states of the neurons of the first and second layers, the connection weights are successively adjusted until the change in the connection weights based on the sampling is below a defined threshold.

Description

Die Erfindung betrifft ein Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten durch ein künstliches, neuronales Netz gemäß dem Oberbegriff von Anspruch 1, sowie ein entsprechendes Computerprogrammprodukt nach Anspruch 8 und eine Vorrichtung nach Anspruch 9. The invention relates to a method for evaluating statements of a plurality of sources for a plurality of facts by an artificial neural network according to the preamble of claim 1, as well as a corresponding computer program product according to claim 8 and an apparatus according to claim 9.

Zur Analyse und Verwertung von Fakten werden üblicherweise Informationen nicht nur von einer einzigen Quelle bezogen. Vielmehr wird häufig eine Vielzahl von Quellen zur Beschaffung von Fakten bzw. Informationen konsultiert. Dabei kommt es jedoch mit einer steigenden Anzahl von Quellen immer häufiger zu Widersprüchen zwischen den Aussagen der unterschiedlichen Quellen zu ein und demselben Faktum. In dieser Situation gilt es zu entscheiden, welcher Quelle zu einem bestimmten Faktum die höchste Relevanz eingeräumt wird, oder in anderen Worten, welcher Quelle man am ehesten zutraut, dass sie die korrekten Fakten bereitstellt. Im Stand der Technik bekannte Verfahren zur Bewertung der Zuverlässigkeit einer Quelle sind dabei häufig nicht auf große Datenmengen aus einer Vielzahl von Quellen anwendbar, da die beschriebenen Lösungen nicht ausreichend skalierbar sind. Ferner ist häufig zunächst zu einem bestimmten Faktum nicht allgemein bekannt, ob das Faktum tatsächlich wahr oder tatsächlich falsch ist. Somit fehlt häufig für die Beurteilung der Zuverlässigkeit einer Quelle die Grundwahrheit, was die Bewertung von Quellen bezüglich deren Zuverlässigkeit häufig weiter erschwert. To analyze and exploit facts, information is usually obtained not just from a single source. Rather, a variety of sources for obtaining facts or information is often consulted. However, an increasing number of sources increasingly leads to contradictions between the statements of the different sources about one and the same fact. In this situation, it is important to decide which source is given the highest relevance to a particular fact or, in other words, which source is most likely to provide the correct facts. Prior art methods of evaluating the reliability of a source are often not applicable to large amounts of data from a variety of sources because the described solutions are not sufficiently scalable. Furthermore, it is often not known at first for a particular fact whether the fact is actually true or actually false. Thus, the fundamental truth is often lacking in assessing the reliability of a source, which often further complicates the evaluation of sources for their reliability.

Der Erfindung liegt daher die Aufgabe zugrunde ein verbessertes und insbesondere hoch skalierbares Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten, sowie eine entsprechende Vorrichtung bereitzustellen. The invention is therefore based on the object of providing an improved and, in particular, highly scalable method for evaluating statements from a plurality of sources about a plurality of facts, as well as a corresponding apparatus.

Hauptmerkmale der Erfindung sind in Anspruch 1, sowie in den Ansprüchen 8 und 9 angegeben. Ausgestaltungen sind Gegenstand der Ansprüche 2 bis 7. Main features of the invention are set forth in claim 1 and in claims 8 and 9. Embodiments are the subject of claims 2 to 7.

In einem ersten Aspekt betrifft die Erfindung ein computer-implementiertes Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten durch ein künstliches, neuronales Netz. Das künstliche, neuronale Netz weist dabei eine erste Menge künstlicher Neuronen in einer ersten Schicht und wenigstens ein künstliches Neuron in einer zweiten Schicht auf. Alle künstlichen Neuronen der ersten Schicht sind dabei mit dem künstlichen Neuron der zweiten Schicht verbunden, wobei jeder Verbindung zwischen einem künstlichen Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht ein Verbindungsgewicht zugeordnet ist. Eine solche Anordnung ist auch als beschränkte Boltzmann-Maschine (Restricted Boltzmann Machine, RBM) bekannt. Den einzelnen Quellen der Mehrzahl von Quellen ist ferner jeweils wenigstens ein Zuverlässigkeitsmaß zugeordnet, welches die Zuverlässigkeit von Aussagen der Quelle bezeichnet. In a first aspect, the invention relates to a computer-implemented method for evaluating statements of a plurality of sources to a plurality of facts through an artificial neural network. The artificial neural network has a first set of artificial neurons in a first layer and at least one artificial neuron in a second layer. All artificial neurons of the first layer are connected to the artificial neuron of the second layer, wherein each connection between an artificial neuron of the first layer and the artificial neuron of the second layer is assigned a connection weight. Such an arrangement is also known as a limited Boltzmann machine (Restricted Boltzmann Machine, RBM). The individual sources of the plurality of sources are also each assigned at least one reliability measure, which designates the reliability of statements of the source.

Das Verfahren weist dabei die folgenden Schritte auf:

a) Ermitteln der Zuverlässigkeitsmaße der Quellen,
b) Zuordnen eines Satzes von Verbindungsgewichten zu den Verbindungen des neuronalen Netzes basierend auf den geschätzten Zuverlässigkeitsmaßen der Quellen,
c) Initialisieren der Ausgangszustände der künstlichen Neuronen der ersten Schicht auf Grundlage der Aussagen wenigstens einer Quelle aus der Mehrzahl von Quellen zu einem ersten Faktum,
d) Durchführen eines Samplings des Ausgangszustandes des künstlichen Neurons der zweiten Schicht basierend auf den Ausgangszuständen der künstlichen Neuronen der ersten Schicht und den jeweiligen Verbindungsgewichten,
e) Durchführen eines Samplings der Ausgangszustände aller künstlichen Neuronen der ersten Schicht basierend auf dem Ausgangszustand des künstlichen Neurons der zweiten Schicht und den jeweiligen Verbindungsgewichten,
f) Durchführen eines Samplings des Ausgangszustands des künstlichen Neurons der zweiten Schicht basierend auf den Ausgangszuständen der künstlichen Neuronen der ersten Schicht und den jeweiligen Verbindungsgewichten, und
g) Anpassen des Satzes von Verbindungsgewichten auf Grundlage der Veränderung der Ausgangszustände der künstlichen Neuronen der ersten Schicht und der zweiten Schicht in den Schritten d), e) und f).

The method has the following steps:

a) determining the reliability measures of the sources;
b) assigning a set of connection weights to the connections of the neural network based on the estimated reliability measures of the sources,
c) initializing the initial states of the artificial neurons of the first layer based on the statements of at least one source from the plurality of sources to a first fact,
d) performing a sampling of the initial state of the second layer artificial neuron based on the initial states of the first layer artificial neurons and the respective compound weights,
e) performing a sampling of the output states of all artificial neurons of the first layer based on the initial state of the artificial neuron of the second layer and the respective connection weights,
f) performing a sampling of the output state of the artificial second-layer neuron based on the initial states of the first-layer artificial neurons and the respective compound weights, and
g) adjusting the set of connection weights based on the change of the initial states of the first layer and second layer artificial neurons in steps d), e) and f).

Dabei werden die Schritte c), d), e), f) und g) so oft für die jeweiligen Aussagen der Mehrzahl von Quellen zu der Mehrzahl von Fakten wiederholt, bis die Veränderung der Verbindungsgewichte in Schritt g) unterhalb eines definierten Grenzwerts liegt. The steps c), d), e), f) and g) are repeated so often for the respective statements of the plurality of sources to the plurality of facts until the change in the connection weights in step g) is below a defined limit.

Unter einer „Quelle“ kann im Kontext der vorliegenden Erfindung beispielsweise eine Sensorvorrichtung verstanden werden, welche dazu ausgebildet ist zu überwachen, ob eine Mehrzahl von Messwerten aus Messungen an einem Werkstück innerhalb oder außerhalb eines definierten Toleranzbereichs liegt. Die “Aussage“ einer solchen Sensorvorrichtung wäre dabei, ob der Messwert im Toleranzbereich, oder außerhalb des Toleranzbereichs liegt. Das zugehörige Faktum wäre dann „Toleranzbereich XY wird eingehalten“, wobei die Sensorvorrichtung hierzu die Aussage „Faktum stimmt“, oder „Faktum stimmt nicht“ ausgibt. In einer konkreten Implementierung würde beispielsweise die Aussage „Faktum stimmt“ mit einer logischen 1 übersetzt, während die Aussage „Faktum stimmt nicht“ eine logische 0 wäre. Hieraus ergeben sich Datensätze zu jeder Quelle, welche für eine Mehrzahl von Fakten jeweils angeben, ob das jeweilige Faktum stimmt, oder nicht. In the context of the present invention, a "source" may, for example, be understood as a sensor device which is designed to monitor whether a plurality of measured values from measurements on a workpiece lie within or outside a defined tolerance range. The "statement" of such a sensor device would be whether the measured value is in the tolerance range or outside the tolerance range. The corresponding fact would then be "Tolerance range XY is complied with", the sensor device to the statement "fact true", or "fact is true" outputs. In a concrete implementation, for example, the statement "fact is true" would be translated with a logical 1, while the statement "fact is not true" would be a logical 0. This results in records for each source, which indicate for a plurality of facts, respectively, whether the respective fact is true or not.

Dabei kann neben einer zweistufigen Unterscheidung, ob eine Information zutrifft, oder nicht, eine Aussage auch mehrstufig sein. Beispielsweise kann so aufgrund von ermittelten Messwerten eine bestimmte Messgröße stufenweise bewertet werden. Eine Oberflächengüte könnte so beispielsweise mit einer Notenskala von 1 für eine sehr gute Oberflächengüte bis zu einer 6 für eine sehr schlechte Oberflächengüte bewertet werden. Eine mehrstufige Bewertung kann dabei beispielsweise so realisiert sein, dass jeweils zu den einzelnen Bewertungsstufen eine zweistufige Unterscheidung vorgenommen wird, welche für eine bestimmte Bewertungsstufe angibt, ob die Messgröße in dieser Bewertungsstufe liegt, oder nicht. In diesem Fall wäre ein Faktum beispielsweise „Oberflächengüte ist 5“ und die Aussage einer Quelle zu diesem Faktum wäre „richtig“ oder „falsch“. In addition to a two-step distinction as to whether information applies or not, a statement can also be multilevel. For example, it is thus possible to evaluate a specific measured variable in stages based on measured values determined. A surface finish could thus be rated, for example, with a grading scale of 1 for a very good surface quality up to a 6 for a very poor surface finish. A multi-level evaluation can be realized, for example, in such a way that a two-step distinction is made in each case for the individual evaluation stages, which indicates for a particular evaluation stage whether or not the measured variable lies in this evaluation stage. In this case, for example, one fact would be "surface quality is 5" and the source's statement about this fact would be "right" or "wrong".

Erfindungsgemäß ist dabei vorgesehen, dass wenigstens zu einem großen Teil der Fakten, idealerweise sogar zu jedem Faktum Aussagen von wenigstens zwei Quellen existieren, sodass aus den Aussagen der Quellen zu einer Mehrzahl von Fakten eine Korrelation zwischen den Fakten und den Aussagen der Quellen zu den Fakten abgeleitet werden kann. So kann im obigen Beispiel vorgesehen sein, dass mehrere Sensorvorrichtungen unabhängig voneinander eine Oberflächengüte, eine Porosität oder einer Druck- und Zugfestigkeit eines Werkstücks überwachen und den dabei aufgenommen Messwerten entsprechende Aussagen ausgeben. According to the invention, it is provided that statements of at least two sources exist for at least a large part of the facts, ideally even for every fact, so that from the statements of the sources to a plurality of facts a correlation between the facts and the statements of the sources about the facts can be derived. Thus, in the above example, it can be provided that a plurality of sensor devices independently monitor a surface quality, a porosity or a compressive and tensile strength of a workpiece and output corresponding statements to the measured values.

Neben dem beschriebenen Ausführungsbeispiel einer Quelle kann unter dem Begriff „Quelle“ jedoch auch jede andere beliebig geartete Entität verstanden werden, welche im obigen Sinne Aussagen zu Fakten bereitstellt. Beispielsweise kann es sich bei einer Quelle auch um eine textbasierte Ressource handeln, welche auf bestimmte Fakten geprüft wird. So können aus einer Textquelle beispielsweise ebenfalls Datensätze generiert werden, welche zu einer Vielzahl von Fakten Aussagen machen. Ein Datensatz einer solchen Quelle könnte dabei beispielsweise aus einer Vielzahl von Vornamen, Nachnamen und Adressen genau bei einer bestimmten Kombination eines Vornamens, Nachnamens und einer Adresse die Aussage „Stimmt“, also eine logische 1 enthalten, während für alle anderen Auswahlmöglichkeiten die Aussage „Stimmt nicht“, also eine logische 0 wäre. In addition to the described exemplary embodiment of a source, however, the term "source" can also be understood to mean any other entity of any kind which provides statements on facts in the above sense. For example, a source may also be a text-based resource that is checked for specific facts. For example, from a text source, records can also be generated which make statements on a large number of facts. A record of such a source could, for example, from a variety of first names, last names and addresses exactly in a particular combination of a first name, last name and an address the statement "Votes", ie a logical 1 included, while for all other choices the statement "True not ", so a logical 0 would be.

Zur Analyse solcher Aussagen einer möglicherweise sehr großen Anzahl von Quellen wird erfindungsgemäß ein neuronales Netz in Form einer RBM eingesetzt. Dabei wird zunächst für alle Quellen jeweils ein Zuverlässigkeitsmaß ermittelt. Die „Zuverlässigkeit“ einer Quelle kann dabei beispielsweise als Wahrscheinlichkeit verstanden werden, mit der die Aussage einer Quelle zutreffend ist. In Zahlen ausgedrückt würde beispielsweise ein Zuverlässigkeitsmaß von 0,5 bedeuten, dass statistisch die Hälfte aller Aussagen einer Quelle tatsächlich korrekt ist. Bei einem Zuverlässigkeitsmaß einer Quelle von 0,8 geht man davon aus, dass 80% aller Aussagen dieser Quelle korrekt sind. Das Zuverlässigkeitsmaß einer Quelle kann dabei zunächst anhand von Erfahrungswerten abgeschätzt, oder zufällig bestimmt werden. To analyze such statements of possibly very large number of sources, a neural network in the form of an RBM is used according to the invention. In each case, a reliability measure is first determined for all sources. The "reliability" of a source can be understood, for example, as a probability with which the statement of a source is correct. Expressed in numbers, for example, a confidence measure of 0.5 would mean that, statistically, half of all the statements in a source are actually correct. With a reliability measure of a source of 0.8, it is assumed that 80% of all statements of this source are correct. The reliability measure of a source can be estimated on the basis of empirical values, or determined randomly.

Die Zuverlässigkeit einer Quelle kann jedoch neben einer Wahrscheinlichkeit, mit der die Quelle korrekte Aussagen trifft, auch weitere statistische Größen umfassen, welche eine differenzierte Beurteilung der Aussagen einer Quelle erlauben. Beispielsweise kann bei der Zuverlässigkeit einer Quelle auch berücksichtigt werden, wie oft eine positive Aussage der Quelle sich auch tatsächlich als korrekt herausstellt und wie oft eine positive Aussage einer Quelle falsch ist. Bei dem nachfolgenden exemplarischen Formelwerk wird jedoch die Zuverlässigkeit einer Quelle i, sofern nicht anders angegeben, lediglich durch die Wahrscheinlichkeit p_i ausgedrückt, mit der eine Quelle eine korrekte Aussage macht. However, the reliability of a source can include, in addition to a probability with which the source makes correct statements, also other statistical quantities which allow a differentiated assessment of the statements of a source. For example, the reliability of a source can also take into account how often a positive statement of the source actually turns out to be correct and how often a positive statement from a source is wrong. However, in the following example formula work, the reliability of a source i, unless otherwise specified, is expressed only by the probability p _i with which a source makes a correct statement.

Nachdem die Zuverlässigkeitsmaße der einzelnen Quellen ermittelt wurden, werden anschließend den Verbindungen zwischen den künstlichen Neuronen der ersten Schicht und dem künstlichen Neuron der zweiten Schicht Verbindungsgewichte zugeordnet. Die Verbindungsgewichte werden dabei basierend auf den zuvor ermittelten Zuverlässigkeitsmaßen bestimmt. Beispielsweise kann unter der Annahme, dass alle Quellen i dieselbe Zuverlässigkeit p_i aufweisen, das Verbindungsgewicht w_i1 der Verbindung zwischen dem der Quelle i zugeordneten künstlichen Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht anhand des Logit-Wertes zu der Zuverlässigkeit p_i ermittelt werden. Das Verbindungsgewicht w_i1 ist dann definiert durch:

After the reliability measures of the individual sources have been determined, connection weights are subsequently assigned to the connections between the artificial neurons of the first layer and the artificial neuron of the second layer. The connection weights are determined based on the previously determined reliability measures. For example, assuming that all sources i have the same reliability p _i , the connection _weight w _{i1 of} the connection between the first layer artificial neuron associated with the source i and the second layer artificial neuron may be determined the logit value are determined to be its reliability p _i. The connection _weight w _i1 is then defined by:

Neben den künstlichen Neuronen für die Vielzahl von Quellen in der ersten Schicht und dem einzelnen künstlichen Neuron in der zweiten Schicht kann nach einer Ausführungsform in der ersten Schicht jeweils ein weiteres künstliches Neuron als Bias-Neuron vorgesehen sein, durch das ein Bias für die Neuronen der ersten Schicht und das Neuron der zweiten Schicht erzeugt wird. Unter einem „Bias-Neuron“ ist dabei ein künstliches Neuron zu verstehen, welches eine konstante Netzeingabe liefert, unabhängig von den Ausgaben der weiteren Neuronen des neuronalen Netzes. Beispielsweise kann der Ausgabewert eines solchen Bias-Neurons eine konstante 1 sein. Das Bias-Neuron der ersten Schicht ist dabei nur mit dem künstlichen Neuron der zweiten Schicht verbunden, während das Bias-Neuron der zweiten Schicht mit den künstlichen Neuronen der ersten Schicht verbunden ist. Dabei ist den Verbindungen zwischen den Bias-Neuronen und den weiteren Neuronen des künstlichen neuronalen Netzes ebenfalls ein Verbindungsgewicht zugeordnet, wodurch sich eine zusätzliche Netzeingabe für die künstlichen Neuronen der ersten und zweiten Schicht ergibt. In addition to the artificial neurons for the plurality of sources in the first layer and the single artificial neuron in the second layer may be provided according to an embodiment in the first layer in each case a further artificial neuron as a bias neuron, by a bias for the neurons of the first layer and the neuron of the second layer is generated. By a "bias neuron" is meant an artificial neuron which provides a constant network input, independent of the outputs of the other neurons of the neural network. For example, the output value of such a bias neuron may be a constant 1. The bias neuron of the first layer is connected only to the artificial neuron of the second layer, while the bias neuron of the second layer is connected to the artificial neurons of the first layer. In this case, the connection between the bias neurons and the other neurons of the artificial neural network is also assigned a connection weight, which results in an additional network input for the artificial neurons of the first and second layer.

Die Verbindungsgewichte der Verbindungen der Bias-Neuronen können dabei analog zu den obigen Ausführungen unter Annahme abgeschätzt werden, dass alle Quellen i dieselbe Zuverlässigkeit p_i aufweisen. In diesem Fall können beispielsweise die Verbindungsgewichte w_i2 der der Verbindungen zwischen dem Bias-Neuron der zweiten Schicht und den künstlichen Neuronen i der ersten Schicht abgeschätzt werden durch: w_i2 = log(1 – p_i) The connection weights of the connections of the bias neurons can be estimated analogously to the above statements on the assumption that all sources i have the same reliability p _i . In this case, for example, the connection weights w _i2 of the connections between the bias neuron of the second layer and the artificial neuron i of the first layer be estimated by: w _i2 = log (1 - p _i )

Unter derselben Annahme kann das Verbindungsgewicht w_b1 der Verbindung zwischen dem Bias-Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht abgeschätzt werden durch:

wobei m die Zahl der künstlichen Neuronen in der ersten Schicht angibt und p_i das Zuverlässigkeitsmaß angibt, welches der Quelle i zugeordnet wurde. Under the same assumption, the connection weight w _{b1 of} the connection between the first layer bias neuron and the second layer artificial neuron can be estimated by:

where m is the number of artificial neurons in the first layer and p _{i is} the reliability measure assigned to the source i.

Bei der erfindungsgemäß nachfolgenden Initialisierung der künstlichen Neuronen der ersten Schicht werden alle vorhandenen Datensätze der Quellen zu einem Faktum, also mindestens ihre Aussagen zu dem Faktum, wie sie zuvor beschrieben wurden, auf die künstlichen Neuronen der ersten Schicht übertragen. Die Zahl der künstlichen Neuronen entspricht dabei vorzugsweise wenigstens der Anzahl der betrachteten Quellen. Die Zustände der künstlichen Neuronen können dabei in einem „Eingabevektor“ zusammengefasst werden, wobei ein Vektoreintrag den Ausgangszustand eines entsprechenden Neurons repräsentiert. Der Eingabevektor hat dabei genauso viele Einträge, wie künstliche Neuronen in der ersten Schicht vorhanden sind. Für jede Quelle, die aussagt, dass das Faktum stimmt, enthält dieser Eingabevektor der RBM an der entsprechenden Stelle eine 1, während alle anderen Stellen jeweils eine 0 enthalten. In the initialization according to the invention of the artificial neurons of the first layer, all existing data sets of the sources are transferred to a fact, ie at least their statements on the fact, as described above, to the artificial neurons of the first layer. The number of artificial neurons preferably corresponds at least to the number of sources considered. The states of the artificial neurons can be summarized in an "input vector", wherein a vector entry represents the initial state of a corresponding neuron. The input vector has the same number of entries as there are artificial neurons in the first layer. For each source that states that the fact is true, this RBM input vector contains a 1 at the appropriate location, while all other digits contain a 0.

Jeder Quelle ist dabei jeweils wenigstens ein künstliches Neuron in der ersten Schicht zugeordnet. Bei der Initialisierung der Neuronen wird dann der Ausgangszustand genau jener künstlicher Neuronen auf 1 gesetzt, welche einer Quelle entsprechen, zu der die Aussage des gerade untersuchten Faktums ebenfalls ein „stimmt“, also eine logische 1 ist. In analoger Art und Weise wird der Ausgangszustand genau jener künstlicher Neuronen auf 0 gesetzt, welche einer Quelle entsprechen, deren Aussage zu dem grade untersuchten Faktum ein „stimmt nicht“, also eine logische 0 ist. Each source is assigned in each case at least one artificial neuron in the first layer. During the initialization of the neurons, the initial state of exactly those artificial neurons is then set to 1, which correspond to a source to which the statement of the fact just examined is likewise a "true", ie a logical 1. In an analogous manner, the initial state of exactly those artificial neurons is set to 0, which correspond to a source whose statement on the fact just examined is a "not true", ie a logical 0.

Die Zahl der künstlichen Neuronen der ersten Schicht kann dabei durchaus auch größer als die Zahl der betrachteten Quellen sein. In diesem Fall werden die Ausgangszustände der künstlichen Neuronen, welche einer Quelle entsprechen, die zu dem aktuell betrachteten Faktum keine Aussage macht, nicht verändert bzw. bei Durchführung der Schritte c)–g) nicht berücksichtigt. Dies kann beispielsweise mittels eines „Drop-Out“-Verfahrens erfolgen. The number of artificial neurons of the first layer may well be greater than the number of sources considered. In this case, the initial states of the artificial neurons, which correspond to a source that does not make any statement about the currently considered fact, are not changed or are not taken into account when performing steps c) -g). This can be done for example by means of a "drop-out" method.

Ausgehend von den so initialisierten künstlichen Neuronen der ersten Schicht wird anschließend ein Sampling des Ausgangszustandes des Neurons der zweiten Schicht durchgeführt. Unter einem „Sampling“ kann dabei allgemein ein näherungsweises Bestimmen der jeweiligen Zustände der Neuronen der einen Schicht ausgehend von den Zuständen der Neuronen der anderen Schicht und den jeweiligen Verbindungsgewichten verstanden werden. Nachdem der Ausgangszustand des Neurons der zweiten Schicht gesampelt wurde, werden anschließend ausgehend von dem so ermittelten Ausgangszustand des Neurons der zweiten Schicht und den Verbindungsgewichten die Ausgangszustände der Neuronen der ersten Schicht durch ein Sampling ermittelt. Anschließend wird der Ausgangszustand des Neurons der zweiten Schicht erneut gesamplet. Die Ausgangszustände der in der ersten und zweiten Schicht vorgesehenen Bias-Neuronen werden dabei nicht gesampelt, da sie den konstanten Wert 1 haben. Jedoch werden die Ausgangszustände der Bias-Neuronen bei einem Sampling der übrigen künstlichen Neuronen des künstlichen neuronalen Netzes berücksichtigt. Starting from the artificial neurons of the first layer thus initialized, a sampling of the initial state of the neuron of the second layer is then carried out. Under a "sampling" In this case, an approximate determination of the respective states of the neurons of the one layer can generally be understood on the basis of the states of the neurons of the other layer and the respective connection weights. After the initial state of the neuron of the second layer has been sampled, the output states of the neurons of the first layer are then determined by sampling on the basis of the thus determined initial state of the neuron of the second layer and the connection weights. Subsequently, the initial state of the neuron of the second layer is resampled. The output states of the bias neurons provided in the first and second layers are not sampled since they have the constant value of 1. However, the output states of the bias neurons are taken into account in a sampling of the remaining artificial neurons of the artificial neural network.

Ausgehend von der dabei möglicherweise auftretenden Veränderung der Ausgangszustände der Neuronen der ersten und zweiten Schicht vor und nach Durchführung des Samplings werden dann die Verbindungsgewichte angepasst. Dabei ist das Ziel der Anpassung der Verbindungsgewichte, dass sich bei weiteren Durchläufen des beschriebenen Samplings die Ausgangszustände der Neuronen der ersten und zweiten Schicht weniger stark ändern. Bei der Anpassung der Verbindungsgewichte werden insbesondere auch die Verbindungsgewichte der Verbindungen der Bias-Neuronen angepasst, um die durch die Bias-Neuronen erzeugte, konstante Netzeingabe der künstlichen Neuronen anzupassen. Based on the possibly occurring change of the output states of the neurons of the first and second layer before and after the sampling has been carried out, the connection weights are then adjusted. In this case, the goal of adaptation of the connection weights is that the output states of the neurons of the first and second layer change less strongly during further runs of the described sampling. In the adaptation of the connection weights, in particular, the connection weights of the connections of the bias neurons are adjusted in order to adapt the constant network input of the artificial neurons generated by the bias neurons.

Die vorgenannte Abfolge von Initialisierung der Neuronen der ersten Schicht, Sampling der Ausganszustände der Neuronen der ersten und zweiten Schicht und Anpassen der Verbindungsgewichte wird erfindungsgemäß für eine Mehrzahl von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten so lange wiederholt, bis bei der Anpassung der Verbindungsgewichte die Veränderung der Verbindungsgewichte unter einem definierten Grenzwert liegt. Der Grenzwert gibt dabei an, wie genau das neuronale Netz die Aussagen der Quellen lernen soll. Somit kann der Grenzwert je nach Anwendungsfall unterschiedlich gewählt werden. The above sequence of initialization of the neurons of the first layer, sampling of the output states of the neurons of the first and second layers and adaptation of the connection weights is repeated according to the invention for a plurality of statements of a plurality of sources to a plurality of facts until the adaptation of the Connection weights, the change in connection weights is below a defined threshold. The limit value indicates how exactly the neural network should learn the statements of the sources. Thus, the limit can be chosen differently depending on the application.

Das vorgenannte Verfahren hat nun mehrere Vorteile. Bei der Durchführung des Verfahrens wurden die Verbindungsgewichte des neuronalen Netzes sukzessive so angepasst, dass nach Abschluss des Verfahrens Aussagen von Quellen genau dann durch das neuronale Netz reproduziert werden, wenn sie mit den Aussagen der gewichteten Mehrheit der eingelernten Quellen übereinstimmen. Unter einer „gewichteten Mehrheit“ ist dabei eine Mehrheit zu verstehen, welche sich aus einer Menge von Quellen, gewichtet mit deren jeweiligem Zuverlässigkeitsmaß zusammensetzt. Dabei ist zu beachten, dass es sich bei der gewichteten Mehrheit nicht zwingend um eine nominale Mehrheit handelt. Vielmehr ist es auch möglich, dass eine einzelne sehr zuverlässige Quelle eine Vielzahl von unzuverlässigen Quellen überstimmt. So würden beispielsweise zwei Quellen mit den Zuverlässigkeitsmaßen 0,7 und 0,9 eine gewichtete Mehrheit gegenüber einer Menge von fünf Quellen bilden, deren Zuverlässigkeitsmaß jeweils nur 0,3 beträgt. Bei der Verwendung eines feiner differenzierten Zuverlässigkeitsmaßes, wie es zuvor beschrieben wurde, kann bei der Definition einer „Mehrheit“ zusätzlich auch die Art der statistischen Information berücksichtigt werden. So kann beispielsweise die Gewichtung der Quellen deren Statistik bezüglich ihrer wahr-richtigen Aussagen und falsch-richtigen Aussagen berücksichtigen. The aforementioned method now has several advantages. In carrying out the method, the connection weights of the neural network were successively adjusted so that, after completion of the method, statements from sources are reproduced by the neural network if and only if they match the weighted majority of the learned sources. By a "weighted majority" is meant a majority, which consists of a set of sources, weighted with their respective reliability measure. It should be noted that the weighted majority is not necessarily a nominal majority. Rather, it is also possible that a single very reliable source overrules a variety of unreliable sources. For example, two sources with reliability measures 0.7 and 0.9 would form a weighted majority against a set of five sources each having a reliability measure of only 0.3. When using a finer differentiated reliability measure, as described above, the definition of a "majority" can additionally take into account the type of statistical information. For example, the weighting of the sources may take into account their statistics regarding their true-to-truth statements and false-correct statements.

Somit erlaubt das neuronale Netz bei einer Vielzahl von unterschiedlichen Aussagen der Quellen zu einem Faktum eine Aussage darüber, welche Aussage zu dem Faktum unter Berücksichtigung der vorhandenen Gesamtinformation, also den gegenwärtigen Aussagen und den historischen, eingelernten Aussagen, wahrscheinlich korrekt ist. Thus, in a variety of different sources' statements about a fact, the neural network allows a statement as to which statement about the fact is likely to be correct, taking into account the existing overall information, that is, the current statements and the historical taught-in statements.

Neben der direkten Überprüfung von konkreten Aussagen erlaubt das neuronale Netz ferner als Resultat des Lernprozesses eine Einschätzung, ob eine Quelle grundsätzlich zuverlässig ist oder nicht. Hierzu kann ausgehend von einem festen Zustand des Neurons der zweiten Schicht die entsprechende Ausgabe der Aktivierungsfunktion eines künstlichen Neurons der ersten Schicht ermittelt werden. Die so ermittelte Ausgabe des künstlichen Neurons der ersten Schicht ist dann gleichbedeutend mit der Wahrscheinlichkeit, dass Aussagen der Quelle, der das betrachtete künstliche Neuron zugeordnet ist, korrekt sind. Eine Quelle deren Aussagen sich mit hoher Wahrscheinlichkeit mit dem Zustand des Neurons der zweiten Schicht deckt, hat demnach ein hohes Zuverlässigkeitsmaß, während eine Quelle, deren Aussagen sich nicht oder nur zu einem geringen Prozentsatz mit dem Zustand des Neurons der zweiten Schicht deckt, ein niedriges Zuverlässigkeitsmaß hat. In addition to the direct verification of concrete statements, the neural network also allows an assessment as to whether a source is fundamentally reliable or not as a result of the learning process. For this purpose, starting from a fixed state of the neuron of the second layer, the corresponding output of the activation function of an artificial neuron of the first layer can be determined. The thus determined output of the artificial neuron of the first layer is then equivalent to the probability that statements of the source, which is associated with the considered artificial neuron, are correct. A source whose statements are likely to coincide with the state of the neuron of the second layer, therefore, has a high degree of reliability, while a source whose statements do not or only to a small extent coincides with the state of the neuron of the second layer, a low Reliability measure has.

In dem zuvor beschriebenen Fall, dass Zuverlässigkeitsmaß auch eine Rate von wahr-positiven Aussagen und eine Rate von falsch-positiven Aussagen berücksichtigt, kann als Resultat des Lernprozesses auch eine Ausgabe der jeweiligen Werte für die Rate der falsch-positiven Aussagen und der richtig-positiven Aussagen für eine Quelle erfolgen. Hierzu kann zur Ausgabe des der jeweiligen Werte für die Rate der wahr-positiven Antworten der Quellen der Ausgangszustand des künstlichen Neurons der zweiten Schicht auf den Wert 1 gesetzt werden. Anschließend werden die Ausgangszustände der künstlichen Neuronen der ersten Schicht berechnet. Die so bestimmten Ausgangszustände der künstlichen Neuronen der ersten Schicht entsprechen dann gerade den jeweiligen Werten für die Rate der wahr-positiven Antworten der dem entsprechenden künstlichen Neuron zugeordneten Quelle. In the case described above, that reliability measure also takes into account a rate of true-positive statements and a rate of false-positive statements, as a result of the learning process, an output of the respective values for the rate of false-positive statements and the true-positive Statements made for a source. For this purpose, to output the respective values for the rate of true-positive responses of the sources, the initial state of the artificial neuron of the second layer may be set to the value 1 are set. Subsequently, the initial states of the artificial neurons of the first layer are calculated. The thus-determined initial states of the artificial neurons of the first layer then correspond exactly to the respective values for the rate of true-positive responses of the source associated with the corresponding artificial neuron.

In analoger Art und Weise kann die Rate der falsch-positiven Aussagen bestimmt werden, indem der Ausgangszustand des künstlichen Neurons der zweiten Schicht auf den Wert 0 gesetzt wird und anschließend die Ausgangszustände der künstlichen Neuronen der zweiten Schicht ermittelt werden. Diese Ausgangszustände entsprechen dann in analoger Art und Weise jeweils den Raten der falsch-positiven Aussagen der den entsprechenden künstlichen Neuronen zugeordneten Quellen. In an analogous manner, the rate of false positives can be determined by setting the initial state of the second layer artificial neuron to zero and then determining the initial states of the second layer artificial neurons. These output states then correspond in an analogous manner in each case to the rates of the false-positive statements of the sources associated with the corresponding artificial neurons.

Somit erlaub das neuronale Netz nach Durchführung des erfindungsgemäßen Verfahrens sowohl eine Überprüfung konkreter Aussagen der Quellen bezüglich der wahrscheinlich korrekten Aussage, als auch eine generelle Abschätzung der Zuverlässigkeit einer Quelle. Dabei werden im Zuge der Anpassung der Verbindungsgewichte implizit die Zuverlässigkeitsmaße für die verschiedenen betrachteten Quellen ermittelt, während das neuronale Netz anhand der Aussagen der Quellen lernt, welche Korrelationen zwischen der Vielzahl von Fakten bzw. den möglichen Systemreizen bestehen. Thus, after carrying out the method according to the invention, the neural network permits both a checking of concrete statements of the sources with regard to the probably correct statement, as well as a general estimation of the reliability of a source. In the course of adjusting the connection weights, the reliability measures for the various sources considered are implicitly determined, while the neural network uses the statements of the sources to learn which correlations exist between the multiplicity of facts or the possible system stimuli.

Sollen, wie zuvor beschrieben wurde, die Zuverlässigkeitsmaße der Quellen neben der relativen Häufigkeiten korrekter Antworten der Quellen p_i auch weitere statistische Informationen enthalten, nämlich die Rate der wahr-positiven Antworten (true positive rate, tpr_i) und die Rate der falsch-positiven Antworten (false positive rate, fpr_i) ändern sich die Formeln zur Bestimmung der initialen Verbindungsgewichte, wie so zuvor beschrieben wurden. In diesem Fall wäre das initiale Verbindungsgewicht w_i1 zwischen den künstlichen Neuronen der ersten Schicht, welche den Quellen i zugeordnet sind und dem künstlichen Neuron der zweiten Schicht definiert durch:

As described above, the reliability measures of the sources should include, in addition to the relative frequencies of correct responses of sources p _i, also other statistical information, namely the rate of true positive responses (tpr _i ) and the rate of false positives Responses (false positive rate, fpr _i ) change the formulas for determining the initial connection weights, as previously described. In this case, the initial connection _weight w _i1 between the first layer artificial neurons associated with the sources i and the second layer artificial neuron would be defined by:

Die initialen Verbindungsgewichte w_i2 zwischen den künstlichen Neuronen der ersten Schicht, welche den Quellen i zugeordnet sind und dem Bias-Neuron der zweiten Schicht sind dann gegen durch

während das initiale Verbindungsgewicht w_b1 zwischen dem Bias-Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht gegen ist durch

The initial connection _weights w _i2 between the artificial neurons of the first layer which are assigned to the sources i and the bias neuron of the second layer are then counteracted by

while the initial connection weight w _b1 between the first-layer bias neuron and the second-layer artificial neuron is opposite

Die Berücksichtigung der jeweiligen Raten der wahr-positiven Aussagen und der falschpositiven Aussagen erlauben dann eine Unterscheidung der Wahrscheinlichkeiten für Fehler 1. Art und Fehler 2. Art. Die initialen Werte für fpr_i und tpr_i können dabei zunächst abgeschätzt werden, oder sie können aus historischen Daten bekannt sein. The consideration of the respective rates of the true-positive statements and the false-positive statements then allow a differentiation of the probabilities for errors 1. Type and error 2. Type. The initial values for fpr _i and tpr _i can be estimated first, or they can be known historical data.

Nach einer bevorzugten Ausführungsform wird bei dem Ermitteln der Zuverlässigkeitsmaße der Quellen allen Quellen derselbe Wert für das jeweilige Zuverlässigkeitsmaß zugeordnet. Beispielsweise kann davon ausgegangen werden, dass grundsätzlich alle Quellen tendenziell versuchen werden, korrekte Aussagen zu treffen und daher eine Mehrzahl der Aussagen einer Quelle korrekt sein werden, sodass alle Zuverlässigkeitsmaße mit einem Wert initialisiert werden, welcher größer als 0,5 ist. Da im Folgenden die initialen Verbindungsgewichte ausgehend von den jeweiligen Zuverlässigkeitsmaßen der Quellen ermittelt werden, kann sämtlichen Verbindungen des neuronalen Netzes dasselbe Verbindungsgewicht zugeordnet werden. Eine individuelle Ermittlung der initialen Verbindungsgewichte je Neuron der ersten Schicht ist dann nicht mehr notwendig, was den Rechenaufwand bei der Initialisierung des neuronalen Netzes reduziert. In a preferred embodiment, in determining the reliability measures of the sources, the same value is assigned to all sources for the respective reliability measure. For example, it can be assumed that in principle all sources will tend to attempt to make correct statements and therefore a majority of the statements of a source will be correct, so that all reliability measures are initialized with a value which is greater than 0.5. Since, in the following, the initial connection weights are determined on the basis of the respective reliability measures of the sources, all connections of the neural network can be assigned the same connection weight. An individual determination of the initial connection weights per neuron of the first layer is then no longer necessary, which reduces the computational effort during the initialization of the neural network.

Dabei können nach einer Ausführungsform bei der Initialisierung der Neuronen neben den konkreten Aussagen der Quellen zu einem Faktum auch weitere Informationen zu den Quellen oder zu den Aussagen berücksichtigt werden. So kann beispielsweise durch die entsprechende Initialisierung weiterer künstlicher Neuronen das Alter einer Information berücksichtigt werden, oder auch die Art der Quelle. According to one embodiment, upon initialization of the neurons, in addition to the concrete statements of the sources about a fact, further information about the sources or the statements can also be provided be taken into account. Thus, for example, by the corresponding initialization of further artificial neurons, the age of an information can be taken into account, or also the type of source.

Nach einer Ausführungsform erfolgt das Sampling des Ausgangszustands des künstlichen Neurons der zweiten Schicht durch Bestimmen einer ersten Zufallszahl zwischen 0 und 1, berechnen der Aktivierungsfunktion des künstlichen Neurons der zweiten Schicht für die Ausgangszustände der künstlichen Neuronen der ersten Schicht und die jeweiligen Verbindungsgewichte und Vergleichen der Zufallszahl mit der Aktivierungsfunktion, wobei der Ausgangszustand des künstlichen Neurons auf 0 gesetzt wird, wenn die Zufallszahl größer als die Ausgabe der Aktivierungsfunktion ist und wobei der Ausgangszustand des künstlichen Neurons auf 1 gesetzt wird, wenn die Zufallszahl kleiner oder gleich der Aktivierungsfunktion ist. According to one embodiment, the sampling of the output state of the second layer artificial neuron is performed by determining a first random number between 0 and 1, calculating the second layer artificial neuron activation function for the first layer artificial neuron activation states and the respective connection weights and random number comparisons with the activation function, wherein the initial state of the artificial neuron is set to 0 if the random number is greater than the output of the activation function and the initial state of the artificial neuron is set to 1 if the random number is less than or equal to the activation function.

Nach einer hierzu analogen Ausführungsform erfolgt das Sampling der Ausgangszustände der künstlichen Neuronen der ersten Schicht jeweils für jedes künstliche Neuron der ersten Schicht durch Bestimmen einer zweiten Zufallszahl zwischen 0 und 1, berechnen der Aktivierungsfunktion eines künstlichen Neurons der ersten Schicht für den aktuellen Ausgangszustand des künstlichen Neurons der zweiten Schicht und die jeweiligen Verbindungsgewichte und Vergleichen der Zufallszahl mit der Aktivierungsfunktion, wobei der Ausgangszustand des künstlichen Neurons auf 0 gesetzt wird, wenn die Zufallszahl größer als die Aktivierungsfunktion ist und wobei der Ausgangszustand des künstlichen Neurons auf 1 gesetzt wird, wenn die Zufallszahl kleiner oder gleich der Aktivierungsfunktion ist. According to an embodiment analogous thereto, the sampling of the output states of the artificial neurons of the first layer is performed for each artificial neuron of the first layer by determining a second random number between 0 and 1, calculating the activation function of an artificial neuron of the first layer for the current initial state of the artificial neuron the second layer and the respective connection weights and comparing the random number with the activation function, wherein the initial state of the artificial neuron is set to 0 if the random number is greater than the activation function and the initial state of the artificial neuron is set to 1 if the random number is smaller or equal to the activation function.

Beispielsweise würde bei dem künstlichen Neuron der zweiten Schicht, welches beispielsweise mit fünf künstlichen Neuronen der ersten Schicht verbunden ist, das Sampling nach der beschriebenen Ausführungsform folgendermaßen ablaufen: Zunächst würde eine Zufallszahl zwischen 0 und 1 bestimmt. Beispielsweise könnte die Zufallszahl 0,7 sein. Anschließend werden die Ausgangszustände der fünf künstlichen Neuronen der ersten Schicht mit den jeweiligen Verbindungsgewichten der Verbindungen zu dem künstlichen Neuron der zweiten Schicht multipliziert und die jeweiligen Produkte aufsummiert. Zu der so bestimmten Netzeingabe wird dann noch ein Bias addiert, welcher sich aus dem Ausgabewert des Bias-Neurons der ersten Schicht von 1, multipliziert mit dem Verbindungsgewicht der Verbindung zwischen Bias-Neuron und dem betrachteten Neuron ergibt. Beispielsweise können die Ausgangszustände der künstlichen Neuronen der ersten Schicht die Werte {0; 1; 0; 0; 1} haben, während die Verbindungsgewichte die Werte {0,1; –0,05; 0,2; 0,1; –0,15} haben. Das Bias-Neuron hat ferner den Ausgabewert 1 und das Verbindungsgewicht der Verbindung zwischen Bias-Neuron und betrachtetem Neuron wird exemplarisch als 0,3 angenommen. Die Netzeingabe für das betrachtete künstliche Neuron verursacht durch die künstlichen Neuronen der ersten Schicht ist in diesem Fall –0,2, zuzüglich der Eingabe des Bias-Neurons von 0,3, sodass sich insgesamt eine Netzeingabe von 0,1 ergibt. Nimmt man als Aktivierungsfunktion eine stückweise lineare Funktion an, welche im Bereich zwischen den Eingabewerten –0,5 und 0,5 von einem Funktionswert 0 zu einem Funktionswert 1 linear ansteigt, wäre der Wert der Aktivierungsfunktion für die Netzeingabe 0,1 bei 0,6 und somit kleiner als die Zufallszahl 0,7. Der Ausgangszustand des betrachteten künstlichen Neurons der zweiten Schicht würde in diesem Fall auf 0 gesetzt. For example, in the artificial neuron of the second layer, which is connected, for example, to five artificial neurons of the first layer, the sampling according to the described embodiment would proceed as follows: First, a random number between 0 and 1 would be determined. For example, the random number could be 0.7. Subsequently, the output states of the five artificial neurons of the first layer are multiplied by the respective connection weights of the connections to the artificial neuron of the second layer, and the respective products are summed up. To the thus-determined network input, a bias is then added, which results from the output value of the bias neuron of the first layer of FIG. 1 multiplied by the connection weight of the connection between the bias neuron and the considered neuron. For example, the initial states of the artificial neurons of the first layer may be {0; 1; 0; 0; 1} while the connection weights have the values {0,1; -0.05; 0.2; 0.1; -0,15}. The bias neuron also has the output value 1 and the connection weight of the connection between the bias neuron and the considered neuron is assumed to be 0.3 by way of example. The network input for the considered artificial neuron caused by the first layer artificial neurons in this case is -0.2, plus the input of the bias neuron of 0.3, so that the net input is 0.1. Assuming a piecewise linear function as the activation function, which increases linearly in the range between the input values -0.5 and 0.5 from a function value 0 to a function value 1, the value of the activation function for the network input would be 0.1 at 0.6 and thus smaller than the random number 0.7. The initial state of the considered artificial neuron of the second layer would be set to 0 in this case.

Mit den zuvor beschriebenen Verfahren zur Durchführung eines Samplings der Ausgangszustände der künstlichen Neuronen der ersten und zweiten Schicht kann mit geringem Aufwand eine statistische Abtastung des Transformationsverhaltens des neuronalen Netzes erfolgen. Anhand der dabei ermittelten Veränderungen der Ausgangszustände der künstlichen Neuronen vor und nach dem Sampling kann wiederum, wie nachfolgend noch beschrieben wird, abgeschätzt werden, wie die Verbindungsgewichte des neuronalen Netzes verändert werden müssen, sodass sich das neuronale Netz in seinem Transformationsverhalten bei weiterer Durchführung eines Samplings auf einen stabilen Zustand einpendelt. With the methods described above for performing a sampling of the initial states of the artificial neurons of the first and second layer, a statistical sampling of the transformation behavior of the neural network can be carried out with little effort. On the basis of the changes of the initial states of the artificial neurons before and after the sampling determined in turn, it can be estimated, as will be described below, how the connection weights of the neural network have to be changed, so that the neural network undergoes its transformation behavior on further execution of a sampling stabilized to a stable state.

Dabei kann es sich nach Ausführungsformen bei den Aktivierungsfunktionen der künstlichen Neuronen jeweils um sigmoide Funktionen handeln. Eine sigmoide Funktion ist im Allgemeinen dadurch gekennzeichnet, dass sie genau einen Wendepunkt hat, welcher die Funktion in zwei Bereiche zerteilt, wobei ein erster Bereich ausschließlich eine positive erste Ableitung aufweist, während der zweite Bereich ausschließlich eine negative erste Ableitung aufweist. Der Wertebereich einer solchen sigmoiden Funktion, welche als Aktivierungsfunktion eines künstlichen Neurons verwendet werden kann, ist dabei vorzugsweise durch die Funktionswerte 0 und 1 nach unten und oben beschränkt. Eine solche sigmoide Funktion ist beispielsweise eine Funktion der Form

According to embodiments, the activation functions of the artificial neurons may each be sigmoid functions. A sigmoid function is generally characterized by having exactly one inflection point dividing the function into two regions, a first region having only a positive first derivative, while the second region having only a negative first derivative. The range of values of such a sigmoidal function, which can be used as an activation function of an artificial neuron, is preferably limited by the function values 0 and 1 downwards and upwards. Such a sigmoidal function is, for example, a function of the shape

Diese wird auch als logistische Funktion bezeichnet und erlaubt aufgrund ihres stetig differenzierbaren Verlaufs einerseits eine fein differenzierte Verarbeitung von Eingangsdaten durch das neuronale Netz, während gleichzeitig eine Analyse der Funktion des Netzes an sich durch Verfahren, wie beispielsweise Backpropagation möglich wird. This is also referred to as a logistical function and, on the one hand, permits a finely differentiated processing of input data by the neural network on the one hand because of its continuously differentiable course, while at the same time an analysis of the function of the network per se by methods such as backpropagation is possible.

Bei dem Anpassen des Satzes von Verbindungsgewichten nach Durchführung der Schritte c), d), e) und f) des oben beschriebenen Verfahrens ist nach einer weiteren Ausführungsform vorgesehen, dass die Änderung der Verbindungsgewichte proportional ist zu der Differenz zwischen dem äußeren Produkt der Ausgangszustände der künstlichen Neuronen der ersten und zweiten Schicht vor dem Durchführen eines Samplings der Ausgangszustände der künstlichen Neuronen der ersten und zweiten Schicht und dem äußeren Produkt der Ausgangszustände der künstlichen Neuronen der ersten und zweiten Schicht nach dem Durchführen eines Samplings der Ausgangszustände der künstlichen Neuronen der ersten und zweiten Schicht. In adjusting the set of connection weights after performing steps c), d), e) and f) of the method described above, according to a further embodiment, it is provided that the change in the connection weights is proportional to the difference between the outer product of the output states artificial neurons of the first and second layers before performing sampling of the output states of the artificial neurons of the first and second layers and the outer product of the output states of the artificial neurons of the first and second layers after sampling the output states of the artificial neurons of the first and second Layer.

Unter dem „äußeren Produkt der Ausgangszustände“ ist dabei allgemein folgendes zu verstehen: Die Ausgangszustände der jeweiligen künstlichen Neuronen der ersten und zweiten Schicht können wie zuvor bereits angedeutet in einem Vektor zusammengefasst werden. Beispielsweise kann ein neuronales Netz 5 künstliche Neuronen und ein Bias-Neuron in der ersten Schicht aufweisen, während in der zweiten Schicht 1 künstliches Neuron und ein Bias-Neuron angeordnet sind. Der Gesamtzustand der künstlichen Neuronen der ersten Schicht kann dann als Vektor mit 6 Zeilen dargestellt werden, während der Gesamtzustand der künstlichen Neuronen der zweiten Schicht durch einen Vektor mit 2 Zeilen darstellbar ist. Ferner existieren in einem solchen neuronalen Netz mit N künstlichen Neuronen in der ersten Schicht und M künstlichen Neuronen in der zweiten Schicht genau N·M Verbindungen zwischen den künstlichen Neuronen, da in einer RBM jedes künstliche Neuron der ersten Schicht mit allen künstlichen Neuronen der zweiten Schicht verbunden ist. Die entsprechenden Verbindungsgewichte können dann in einer Matrix mit N Zeilen und M Spalten zusammengefasst werden. Für den zuvor beschriebenen Fall würde man eine Matrix mit 6 Zeilen und 2 Spalten erhalten. The "outer product of the initial states" generally means the following: The initial states of the respective artificial neurons of the first and second layers can be summarized in a vector as already indicated above. For example, a neural network 5 may comprise artificial neurons and a bias neuron in the first layer, while in the second layer 1 artificial neuron and a bias neuron are arranged. The overall state of the artificial neurons of the first layer can then be represented as a 6-line vector, while the overall state of the artificial neurons of the second layer can be represented by a 2-line vector. Further, in such a neural network having N artificial neurons in the first layer and M artificial neurons in the second layer, there are exactly N × M connections between the artificial neurons, since in an RBM, each artificial neuron of the first layer having all artificial neurons of the second layer connected is. The corresponding connection weights can then be summarized in a matrix with N rows and M columns. For the case described above, one would obtain a matrix with 6 rows and 2 columns.

Das äußere Produkt der Ausgangszustände ist in diesem Kontext als das Matrixprodukt (Dyadische Produkt) des Vektors der ersten Schicht mit dem transponierten Vektor der zweiten Schicht zu verstehen, woraus sich wiederum eine Matrix mit 6 Zeilen und 2 Spalten ergibt. Bildet man diese Matrix einmal aus den Ausgangszuständen der künstlichen Neuronen der ersten und zweiten Schicht vor der Durchführung des Samplings und einmal nach der Durchführung des Samplings, lässt sich die Differenz dieser beiden äußeren Produkte bestimmen, welche wiederum eine 6×2-Matrix ist. Die so erhaltene Matrix gibt Aufschluss darüber, wie sehr sich die Zustände der künstlichen Neuronen bei Durchführung des Samplings verändert haben und welche Verbindungsgewichte demnach wie stark verändert werden müssen. Dabei kann mittels eines verwendeten Proportionalitätsfaktors, welcher eine Lernrate widerspiegelt, festgelegt werden, wie sensitiv die Anpassung der Verbindungsgewichte auf eine Veränderung der Ausgangszustände der künstlichen Neuronen in Folge des Samplings ist. Hierauf wird im Folgenden noch näher eingegangen werden. The outer product of the initial states is to be understood in this context as the matrix product (dyadic product) of the vector of the first layer with the transposed vector of the second layer, which in turn results in a matrix with 6 rows and 2 columns. Forming this matrix once from the initial states of the artificial neurons of the first and second layers before performing the sampling and once after performing the sampling, the difference of these two outer products can be determined, which in turn is a 6 × 2 matrix. The matrix obtained in this way provides information about how much the states of the artificial neurons have changed when sampling is performed, and which connection weights have to be changed accordingly. It can be determined by means of a proportionality factor used, which reflects a learning rate, how sensitive the adaptation of the connection weights to a change in the output states of the artificial neurons as a result of sampling is. This will be discussed in more detail below.

In einem weiteren Aspekt betrifft die Erfindung ein Computerprogrammprodukt, mit auf einem Computersystem ausführbaren Programminstruktionen, welches bei Ausführung der Programminstruktionen auf dem Computersystem das Computersystem dazu veranlasst, das zuvor beschriebene Verfahren durchzuführen. In a further aspect, the invention relates to a computer program product having program instructions executable on a computer system, which upon execution of the program instructions on the computer system causes the computer system to perform the method described above.

In noch einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten, wobei die Vorrichtung ein Computersystem mit einem künstlichen, neuronalen Netz aufweist. Das künstliche, neuronale Netz weist dabei eine erste Menge künstlicher Neuronen in einer ersten Schicht und wenigstens ein künstliches Neuron in einer zweiten Schicht auf, wobei alle künstlichen Neuronen der ersten Schicht mit dem künstlichen Neuron der zweiten Schicht verbunden sind. Jeder Verbindung zwischen einem künstlichen Neuron der ersten Schicht und einem künstlichen Neuron der zweiten Schicht ist dabei ein Verbindungsgewicht zugeordnet, während den Quellen jeweils ein Zuverlässigkeitsmaß zugeordnet ist, welches die Zuverlässigkeit von Aussagen der Quelle bezeichnet. Die Vorrichtung ist erfindungsgemäß dazu ausgebildet:

a) die Zuverlässigkeitsmaße der Quellen zu ermitteln,
b) den Verbindungen des neuronalen Netzes einen Satz von Verbindungsgewichten basierend auf den geschätzten Zuverlässigkeitsmaßen zuzuordnen,
c) die Ausgangszustände der künstlichen Neuronen der ersten Schicht auf Grundlage der Aussagen wenigstens einer Quelle aus der Mehrzahl von Quellen zu einem ersten Faktum zu initialisieren,
d) ein Sampling des Ausgangszustands des künstlichen Neurons der zweiten Schicht basierend auf den Ausgangszuständen der künstlichen Neuronen der ersten Schicht und den jeweiligen Verbindungsgewichten durchzuführen,
e) ein Sampling der Ausgangszustände aller künstlichen Neuronen der ersten Schicht basierend auf dem Ausgangszustand des künstlichen Neurons der zweiten Schicht und den jeweiligen Verbindungsgewichte durchzuführen,
f) ein Sampling des Ausgangszustands des künstlichen Neurons der zweiten Schicht basierend auf den Ausgangszuständen der künstlichen Neuronen der ersten Schicht und den jeweiligen Verbindungsgewichten durchzuführen, und
g) den Satz von Verbindungsgewichten auf Grundlage der Veränderung der Ausgangszustände der künstlichen Neuronen der ersten Schicht und der zweiten Schicht in den Schritten d), e) und f) anzupassen.

In yet another aspect, the invention relates to an apparatus for evaluating statements from a plurality of sources into a plurality of facts, the apparatus comprising a computer system having an artificial neural network. In this case, the artificial neural network has a first set of artificial neurons in a first layer and at least one artificial neuron in a second layer, wherein all the artificial neurons of the first layer are connected to the artificial neuron of the second layer. Each connection between an artificial neuron of the first layer and an artificial neuron of the second layer is assigned a connection weight, while the sources are each assigned a reliability measure, which designates the reliability of statements of the source. The device is designed according to the invention:

a) to determine the reliability measures of the sources,
b) associating the neural network connections with a set of connection weights based on the estimated reliability measures;
c) initializing the initial states of the artificial neurons of the first layer based on the statements of at least one source from the plurality of sources to a first fact,
d) performing a sampling of the initial state of the artificial second-layer neuron based on the initial states of the first-layer artificial neurons and the respective compound weights;
e) performing a sampling of the output states of all artificial neurons of the first layer based on the initial state of the artificial neuron of the second layer and the respective connection weights,
f) performing a sampling of the output state of the artificial second-layer neuron based on the initial states of the first-layer artificial neurons and the respective compound weights, and
g) adjust the set of connection weights based on the change of the initial states of the first layer and second layer artificial neurons in steps d), e) and f).

Die Vorrichtung ist dabei ferner dazu ausgebildet, die Schritte c), d), e), f) und g) so oft für die jeweiligen Aussagen der Mehrzahl von Quellen zu der Mehrzahl von Fakten zu wiederholen, bis die Veränderung der Verbindungsgewichte in Schritt g) unterhalb eines definierten Grenzwerts liegt. The device is further configured to repeat steps c), d), e), f) and g) as often as necessary for the respective statements of the plurality of sources for the plurality of facts until the change in the connection weights in step g ) is below a defined limit.

Weitere Merkmale, Einzelheiten und Vorteile der Erfindung ergeben sich aus dem Wortlaut der Ansprüche sowie aus der folgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Es zeigen: Further features, details and advantages of the invention will become apparent from the wording of the claims and from the following description of exemplary embodiments with reference to the drawings. Show it:

1 eine schematische Darstellung eines neuronalen Netzes, welches eine RBM bildet, und 1 a schematic representation of a neural network, which forms an RBM, and

2 eine schematische Darstellung einer Anwendungsumgebung. 2 a schematic representation of an application environment.

Im Folgenden werden einander ähnliche oder identische Elemente mit denselben Bezugszeichen gekennzeichnet. Hereinafter, similar or identical elements will be denoted by the same reference numerals.

Die 1 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes 100, in dem fünf künstliche Neuronen 102 auf der linken Seite in einer ersten Schicht 104 angeordnet sind, während auf der rechten Seite ein weiteres künstliches Neuron 102 in einer zweiten Schicht 106 angeordnet ist. Die künstlichen Neuronen 102 der ersten Schicht 104 werden für eine bessere Übersichtlichkeit mit einem Laufindex l bezeichnet, während dem künstlichen Neuron 102 der zweiten Schicht 106 ein Laufindex k zugeordnet ist. Wie in der 1 ferner dargestellt ist, sind alle künstlichen Neuronen 102 der ersten Schicht 104 mit dem künstlichen Neuron 102 der zweiten Schicht 106 verbunden, jedoch existieren keine Verbindungen zwischen künstlichen Neuronen 102 ein und derselben Schicht. Eine solche Anordnung wird auch als bipartiter Graph bezeichnet, wobei das dargestellte neuronale Netz 100 als beschränkte Boltzmann-Maschine (restricted Boltzmann machine, RBM) ausgelegt ist. The 1 shows a schematic representation of an artificial neural network 100 in which are five artificial neurons 102 on the left in a first layer 104 are arranged while on the right another artificial neuron 102 in a second layer 106 is arranged. The artificial neurons 102 the first layer 104 are referred to for clarity with a running index l, during the artificial neuron 102 the second layer 106 a run index k is assigned. Like in the 1 also shown are all artificial neurons 102 the first layer 104 with the artificial neuron 102 the second layer 106 but there are no connections between artificial neurons 102 one and the same layer. Such an arrangement is also referred to as bipartite graph, wherein the illustrated neural network 100 is designed as a limited Boltzmann machine (restricted Boltzmann machine, RBM).

Ferner ist sowohl in der ersten Schicht 104 als auch in der zweiten Schicht 106 jeweils ein zusätzliches Bias-Neuron 108 vorgesehen. Bei einem Bias-Neuron 108 handelt es sich ebenfalls an sich um ein künstliches Neuron 102, jedoch ist der Ausgangszustand eines Bias-Neurons 108 unabhängig von den Ausgaben der übrigen künstlichen Neuronen 102 des neuronalen Netzes 100. Beispielsweise kann der Ausgangszustand eines solchen Bias-Neuron den konstanten Wert 1 haben. Die Bias-Neuronen 108 sind dabei jeweils mit den künstlichen Neuronen 102 der jeweils anderen Schicht verbunden. Eine Verbindung zwischen den Bias-Neuronen 108 ist dabei nicht vorgesehen. Further, both in the first layer 104 as well as in the second layer 106 one additional bias neuron each 108 intended. In a bias neuron 108 it is also an artificial neuron 102 However, the initial state is a bias neuron 108 regardless of the spending of the remaining artificial neurons 102 of the neural network 100 , For example, the initial state of such a bias neuron may have the constant value of 1. The bias neurons 108 are doing each with the artificial neurons 102 connected to the other layer. A connection between the bias neurons 108 is not intended.

Die Ausgangszustände der künstlichen Neuronen 102 der ersten Schicht 104 und der zweiten Schicht 106 können jeweils in Form eines Vektor zusammengefasst werden, wobei die Zahl der Einträge des Vektor grade der Anzahl der künstlichen Neuronen 102 in einer Schicht entspricht. In dem in 1 skizzierten Fall könnten demnach die künstlichen Neuronen 102 der ersten Schicht 104 in einem Vektor mit 6 Einträgen zusammengefasst werden, während die künstlichen Neuronen 102 der zweiten Schicht 106 in einem Vektor mit zwei Einträgen abgebildet werden können. Im Folgenden wird der Vektor der Ausgangszustände der künstlichen Neuronen 102 der ersten Schicht 104 mit x bezeichnet, während der Vektor der Ausgangszustände der künstlichen Neuronen 102 der zweiten Schicht 106 mit h bezeichnet wird. The initial states of the artificial neurons 102 the first layer 104 and the second layer 106 can each be summarized in the form of a vector, where the number of entries of the vector grade of the number of artificial neurons 102 in one shift. In the in 1 Accordingly, the artificial neurons could be described 102 the first layer 104 in a vector with 6 entries, while the artificial neurons 102 the second layer 106 can be mapped in a vector with two entries. In the following, the vector of the initial states of the artificial neurons 102 the first layer 104 denoted by x, while the vector of the initial states of the artificial neurons 102 the second layer 106 is denoted by h.

Den Verbindungen zwischen den künstlichen Neuronen 102 der ersten Schicht 104 und der zweiten Schicht 106, sowie zwischen dem Bias-Neuronen 108 der ersten Schicht 104 und dem künstlichen Neuron 102 der zweiten Schicht, sind jeweils Verbindungsgewichte w_lk zugeordnet. In der Notation w_lk ist beispielsweise w₄₁ das Gewicht der Verbindung zwischen dem vierten künstlichen Neuron 102 der ersten Schicht 104 und dem künstlichen Neuron 102 der zweiten Schicht 106. Die Gesamtheit aller Verbindungsgewichte w_lk kann allgemein mathematisch in Form einer Matrix W dargestellt werden, welche l Zeilen und k Spalten aufweist. The connections between the artificial neurons 102 the first layer 104 and the second layer 106 , as well as between the bias neurons 108 the first layer 104 and the artificial neuron 102 the second layer, each connection _weights w _{lk are} assigned. For example, in notation w _lk w _{41 is} the weight of the connection between the fourth artificial neuron 102 the first layer 104 and the artificial neuron 102 the second layer 106 , The totality of all connection _weights w _lk can generally be represented mathematically in the form of a matrix W having l rows and k columns.

Wie zuvor bereits ausgeführt wurde, dient das erfindungsgemäße Verfahren dazu, Aussagen von Quellen zu Fakten zu überprüfen und eine Bewertung der Zuverlässigkeit von Quellen vorzunehmen. Eine Quelle könnte hierbei beispielsweise eine Sensorvorrichtung sein, welche Messungen an Werkstücken zur Qualitätssicherung durchführt. Beispielsweise kann eine solche Sensorvorrichtung zur Qualitätssicherung die Oberflächengüte, die Porosität, die Abmessungen bestimmter Geometrien des Werkstücks oder ähnliches überwachen und zu jeder Messgröße eine Information ausgeben, ob definierte Toleranzgrenzen bei einem untersuchten Werkstück eingehalten sind, oder nicht. Dabei kann eine Sensorvorrichtung i eine Mehrzahl j von Aussagen zu den untersuchten Größen (Fakten) erzeugen, welche jeweils in einem Vektor v_ij zusammengefasst werden können. Für all jene Messgrößen, bei denen die Toleranzgrenzen eingehalten werden, würde ein entsprechender Vektor eine 1 enthalten, während für Messgrößen, bei denen die Toleranzen nicht eingehalten werden, eine 0 im Vektor enthalten ist. As already stated above, the method according to the invention serves to verify statements from sources to facts and to make an assessment of the reliability of sources. A source could be, for example, a sensor device, which performs measurements on workpieces for quality assurance. For example, such a sensor device for quality assurance, the surface quality, the porosity, the dimensions of certain geometries of the workpiece or the like monitor and output to each measurand information whether defined tolerance limits are met in a tested workpiece or not. In this case, a sensor device i can generate a plurality j of statements relating to the examined variables (facts), which can each be summarized in a vector v _ij . For all those metrics where the tolerance limits are met, a corresponding vector would contain a 1, while for metrics that do not meet the tolerances, a 0 is in the vector.

In einer Produktionsumgebung werden dabei oftmals Prüfsysteme redundant ausgeführt, sodass eine Messgröße von mehreren Sensoren oder Sensorvorrichtungen parallel überwacht wird. Dabei besteht zwischen den Aussagen der einzelnen Sensoren, bzw. den von den Sensoren ausgegebenen Aussagen zu Fakten eine bestimmte Korrelation. Auf der Grundlage solcher Korrelationen können Aussagen der Sensorvorrichtungen dahingehend bewertet werden, welche Aussagen wahrscheinlich korrekt sind und welche nicht. So kann es durchaus vorkommen, dass bestimmte Sensorvorrichtungen zur Bestimmung einer bestimmten Messgröße weniger gut geeignet sind als andere. Somit sind deren Aussagen zu den Informationen weniger zuverlässig bzw. weniger relevant. Sollten dabei die Sensoren unterschiedliche Aussagen zu ein und demselben Faktum liefern, kann durch das erfindungsgemäße Verfahren eine Abschätzung erfolgen, welcher Aussage geglaubt werden sollte. Die Analyse solcher Korrelationen ist im Allgemein jedoch aufgrund der großen Zahl von Informationen, welche dabei beachtet werden müssen sehr aufwändig. In a production environment, test systems are often executed redundantly, so that a measured variable is monitored in parallel by several sensors or sensor devices. There is a certain correlation between the statements of the individual sensors, or the statements on facts issued by the sensors. Based on such correlations, statements of the sensor devices can be evaluated as to which statements are likely to be correct and which are not. Thus, it may well happen that certain sensor devices are less suitable for determining a particular measured variable than others. Thus, their statements about the information are less reliable or less relevant. If the sensors provide different statements about one and the same fact, the method according to the invention makes it possible to estimate which statement should be believed. However, the analysis of such correlations is generally very costly due to the large amount of information that needs to be considered.

Durch das erfindungsgemäße Verfahren werden hingegen die Eigenschaften neuronaler Netze und insbesondere von RBMs genutzt, um solche Korrelationen effektiv für eine Bewertung der Zuverlässigkeit von Aussagen nutzbar zu machen. Das Verfahren ermöglicht dabei einerseits, einem zunächst unbestimmten neuronalen Netz beizubringen, Aussagen von Quellen zu überprüfen, während gleichzeitig eine allgemeine Bewertung der Zuverlässigkeit von Quellen vorgenommen wird. By contrast, the method according to the invention makes use of the properties of neural networks and in particular of RBMs in order to effectively make such correlations usable for evaluating the reliability of statements. On the one hand, the method makes it possible to teach an initially indefinite neural network to check statements from sources, while at the same time undertaking a general evaluation of the reliability of sources.

Ausgehend von einem künstlichen, neuronalen Netz 100, wie es beispielhaft in 1 dargestellt ist, ist erfindungsgemäß nun vorgesehen, dass zunächst für jede der Vielzahl von betrachteten Quellen ein Wert für deren jeweiliges Zuverlässigkeitsmaß ermittelt wird. Beispielsweise kann dabei jeder Quelle ein Zuverlässigkeitsmaß basierend auf bisherigen Erfahrungen mit der Quelle zugeordnet werden. Alternativ kann die Zuordnung auch statistisch verteilt erfolgen, oder es wird zunächst allen Quellen dasselbe Zuverlässigkeitsmaß zugeordnet. Dabei wird vorzugsweise davon ausgegangen, dass alle Quellen versuchen werden, korrekte Aussagen zu machen, sodass die Zuverlässigkeitsmaße allesamt größer als 0,5 angenommen werden, beispielsweise mit einem Wert von 0,8. Ein Zuverlässigkeitsmaß von 0,8 bedeutet, dass statistisch 80% der Aussagen einer Quelle korrekt sind bzw. sein werden. Starting from an artificial neural network 100 as exemplified in 1 is shown, it is now provided according to the invention that first a value for their respective reliability measure is determined for each of the plurality of sources considered. For example, each source may be assigned a measure of reliability based on past experience with the source. Alternatively, the allocation can also be statistically distributed, or it is first assigned the same reliability measure to all sources. It is preferable to assume that all sources will try to make correct statements so that the reliability measures are all assumed to be greater than 0.5, for example, with a value of 0.8. A reliability measure of 0.8 means that statistically 80% of a source's statements are or will be correct.

Den Verbindungen zwischen den künstlichen Neuronen 102 werden dann basierend auf den zuvor ermittelten Zuverlässigkeitsmaßen der Quellen Verbindungsgewichte zugeordnet. Dabei kann beispielsweise einer Verbindung zwischen einem einer bestimmten Quellen zugeordneten, künstlichen Neuron der ersten Schicht und dem künstlichen Neuron der zweiten Schicht der Logit-Wert des Zuverlässigkeitsmaßes der betrachteten Quelle als Verbindungsgewicht zugeordnet werden. Die Menge der so erhaltenen Verbindungsgewichte kann beispielsweise in einer Matrix W⁰ zusammengefasst werden. Ferner kann ausgehend von den zuvor beschriebenen Zuverlässigkeitsmaßen auch eine Abschätzung der Verbindungsgewichte der Verbindungen zwischen den Bias-Neuronen 108 und den künstlichen Neuronen 102 der ersten 104 und zweiten Schicht 106 erfolgen. The connections between the artificial neurons 102 Then, based on the previously determined reliability measures, the sources are assigned connection weights. In this case, for example, a connection between an artificial neuron of the first layer assigned to a specific source and the artificial layer of the second layer can be assigned the logit value of the reliability measure of the considered source as connection weight. The amount of the compound weights thus obtained can be summarized, for example, in a matrix W ⁰ . Furthermore, on the basis of the reliability measures described above, an estimate of the connection weights of the connections between the bias neurons 108 and the artificial neurons 102 the first 104 and second layer 106 respectively.

Für ein bestimmtes Faktum j werden anschließend die Aussagen der Quellen zu dem Faktum j, dargestellt durch einen Vektor x_j, gesammelt. Die Einträge dieses Vektors werden anschließend auf die künstlichen Neuronen 102 der ersten Schicht 104 übertragen, indem die Ausgangszustände jener künstlichen Neuronen 102, welche einer Quelle zugeordnet sind, die zu dem betrachteten Faktum eine Aussage macht, auf die in dem Vektor x_j enthaltenen Werte gesetzt werden. Am Beispiel der 1 könnte ein Vektor x_j die Einträge {0; 0; 1; 0; 1} aufweisen. Unter Berücksichtigung des Bias-Neurons 108 lassen sich die Ausgangszustände aller Neuronen 102 und 108 der ersten Schicht 104 schließlich in einem gemeinsamen Vektor v_j zusammenfassen, welcher in dem beschriebenen Beispiel die Einträge {0; 0; 1; 0; 1; 1} hätte For a given fact j, the statements of the sources for the fact j, represented by a vector x _j , are subsequently collected. The entries of this vector are subsequently applied to the artificial neurons 102 the first layer 104 transmitted by the initial states of those artificial neurons 102 which are associated with a source that makes a statement on the fact considered, to which values contained in the vector x _j are set. The example of 1 a vector x _j could _contain the entries {0; 0; 1; 0; 1}. Taking into account the bias neuron 108 let the output states of all neurons be 102 and 108 the first layer 104 finally in a common vector v _j , which in the example described the entries {0; 0; 1; 0; 1; 1}

Ausgehend von diesem Eingangsvektor v_j und den Anfangsgewichten W⁰ der Verbindungen des neuronalen Netzes 100 wird anschließend ein Sampling des Ausgangszustands des künstlichen Neurons 102 der zweiten Schicht durchgeführt 106. Hierzu wird für das künstliche Neuron 102 zunächst eine Zufallszahl zwischen 0 und 1 ermittelt. Beispielhaft wird diese Zufallszahl als 0,6 angenommen. Anschließend wird die Netzeingabe des künstlichen Neurons 102 bestimmt, indem die Ausgangszustände aller l mit dem betrachteten Neuron 102 verbundenen künstlichen Neuronen 102 und 108 der ersten Schicht 104 mit den jeweiligen Verbindungsgewichten w_l1 multipliziert und die so gewichteten Ausgangszustände aufsummiert werden. Die so ermittelte Netzeingabe wird anschließend verwendet um den Wert der Aktivierungsfunktion des betrachteten Neurons 102 zu bestimmen. Starting from this input vector v _j and the initial weights W ^{0 of} the connections of the neural network 100 is then a sampling of the initial state of the artificial neuron 102 the second layer performed 106 , This is done for the artificial neuron 102 First a random number between 0 and 1 is determined. By way of example, this random number is assumed to be 0.6. Subsequently, the network input of the artificial neuron 102 determined by the initial states of all l with the considered neuron 102 connected artificial neurons 102 and 108 the first layer 104 with the respective ones Connection weights w _l1 multiplied and the weighted output states are summed. The network input thus determined is then used by the value of the activation function of the considered neuron 102 to determine.

Ist der dabei ermittelte Wert der Aktivierungsfunktion kleiner als der Zufallswert von 0,6, wird der Ausgangszustand des betrachteten Neurons auf 0 gesetzt. Ist der ermittelte Wert der Aktivierungsfunktion hingegen größer oder gleich der Zufallszahl, wird der Ausgangszustand des Neurons 102 auf 1 gesetzt. Als Resultat der Durchführung eines solchen Samplings des Ausgangszustands des künstlichen Neurons 102 der zweiten Schicht 106 erhält man einen Ausgangszustand des künstlichen Neurons 102 der zweiten Schicht 106. Diese kann zusammen mit dem festen Ausgangszustand 1 des Bias-Neurons 108 in einem Vektor h der Ausgangszustände der künstlichen Neuronen 102 und 108 der zweiten Schicht 106 zusammengefasst werden. If the determined value of the activation function is smaller than the random value of 0.6, the initial state of the considered neuron is set to 0. If, however, the determined value of the activation function is greater than or equal to the random number, the initial state of the neuron 102 set to 1. As a result of performing such sampling of the initial state of the artificial neuron 102 the second layer 106 one obtains an initial state of the artificial neuron 102 the second layer 106 , This can be combined with the fixed initial state 1 of the bias neuron 108 in a vector h of the initial states of the artificial neurons 102 and 108 the second layer 106 be summarized.

Ausgehend von diesem Vektor h, sowie den Verbindungsgewichten W⁰ wird dann in analoger Art und Weise ein Sampling der Ausgangszustände der künstlichen Neuronen 102 der ersten Schicht 104 durchgeführt, aus dem man einen neuen Vektor v’_j der Ausgangszustände der künstlichen Neuronen 102 und 108 der ersten Schicht 104 erhält. Der Ausgangszustand des Bias-Neurons 108 bleibt dabei unabhängig von den Ausgangszuständen der Neuronen der zweiten Schicht 106 unverändert. Anschließend wird ein nochmaliges Sampling des Ausgangszustands h‘ des künstlichen Neurons 102 der zweiten Schicht 106, ausgehend von den Zuständen v’_j der künstlichen Neuronen 102 und 108 der ersten Schicht 104, durchgeführt. Der so erhaltene Wert von h’ kann anschließend genutzt werden, um die Verbindungsgewichte W⁰ der Verbindungen des neuronalen Netzes 100 zu aktualisieren bzw. anzupassen. Die Verbindungsgewichte W⁰ werden dabei auf Grundlage der Veränderung der Ausgangszustände der Neuronen durch das wiederholte Sampling abgeschätzt. Beispielsweise können dementsprechend neue Verbindungsgewichte W¹ gemäß der Vorschrift w¹ = w⁰ + δ·(v·h^T – v'·h'^T) anhand der Differenz der äußeren Produkte (dyadische Produkte) der Vektoren v_j und h vor und nach dem Sampling ermittelt werden. Durch den Faktor δ kann dabei festgelegt werden, wie stark die Veränderung der Verbindungsgewichte auf eine Veränderung der Ausgangszustände der künstlichen Neuronen 102 ansprechen soll. Starting from this vector h, as well as the connection weights W ⁰ , a sampling of the output states of the artificial neurons is then carried out in an analogous manner 102 the first layer 104 from which one obtains a new vector v ' _{j of} the initial states of the artificial neurons 102 and 108 the first layer 104 receives. The initial state of the bias neuron 108 it remains independent of the initial states of the neurons of the second layer 106 unchanged. Subsequently, a further sampling of the initial state h 'of the artificial neuron 102 the second layer 106 , starting from the states v ' _{j of} the artificial neurons 102 and 108 the first layer 104 , carried out. The value of h 'thus obtained can then be used to calculate the connection weights W ^{0 of} the connections of the neural network 100 to update or adapt. The connection weights W ⁰ are thereby estimated on the basis of the change in the output states of the neurons by the repeated sampling. For example, accordingly new connection weights W ¹ according to the regulation w ¹ = w ⁰ + δ · (v · h ^T - v '· h' ^T ) be determined by the difference of the outer products (dyadic products) of the vectors v _j and h before and after the sampling. By the factor δ it can be determined how strong the change in the connection weights to a change in the initial states of the artificial neurons 102 should appeal.

Anschließend werden zu einem weiteren Faktum j die Aussagen der betrachteten Quellen untersucht, indem die künstlichen Neuronen 102 der ersten Schicht 104 des neuronalen Netzes 100 auf Grundlage eines entsprechenden Vektors x_j bzw. unter Hinzunahme des Bias-Neurons 108 des Vektors v_j initialisiert werden, wobei der Vektor x_j erneut die Aussagen der Quellen zu dem untersuchten Faktum j enthält. Das beschriebene Verfahren wird dann in analoger Weise wiederholt, sodass erneut eine Anpassung der Verbindungsgewichte W¹ zu einem neuen Satz von Verbindungsgewichten W² erfolgt. Erfindungsgemäß wird das Verfahren für die jeweiligen Aussagen der Quellen zu unterschiedlichen Fakten so lange durchlaufen, bis bei der Anpassung der Verbindungsgewichte Wⁿ bei einem n-ten Durchlauf des Verfahrens der Unterschied zwischen Wⁿ und W^n-1 unterhalb eines definierten Grenzwerts liegt. Ab diesem Zeitpunkt wird davon ausgegangen, dass das künstliche neuronale Netz gelernt hat, aus den Aussagen der Quellen auf die wahrscheinlich korrekte Aussage zu schließen. Subsequently, for a further fact, the statements of the sources considered are examined by the artificial neurons 102 the first layer 104 of the neural network 100 on the basis of a corresponding vector x _j or with the addition of the bias neuron 108 the vector v _j are initialized, wherein the vector again contains x _j the statements of the sources to the fact investigated j. The method described is then repeated in an analogous manner, so that once again an adaptation of the connection weights W ¹ to a new set of connection weights W ² takes place. According to the invention, the method for the respective statements of the sources for different facts is run through until, during the adaptation of the connection weights W ⁿ in an nth run of the method, the difference between W ⁿ and W ^n-1 lies below a defined limit value. From this point on it is assumed that the artificial neural network has learned to infer from the statements of the sources on the probably correct statement.

Hierzu werden die Aussagen der Quellen in die künstlichen Neuronen 102 der ersten Schicht 104 eingespeist, sodass die Ausgangszustände der künstlichen Neuronen 102 der ersten Schicht 104 den Aussagen der jeweils zugeordneten Quellen zu dem betrachteten Faktum entsprechend. Anschließend wird der Ausgangszustand des Neurons 102 der zweiten Schicht 106 ausgehend von den Ausgangswerten der künstlichen Neuronen 102 der ersten Schicht 104 ermittelt. Der so ermittelte Ausgangswert des künstlichen Neurons 102 der zweiten Schicht 106 entspricht dann gerade der Aussage zu dem betrachteten Faktum, welche unter Berücksichtigung aller verfügbaren Informationen mit hoher Wahrscheinlichkeit korrekt ist. Dabei werden aufgrund des vorangegangenen Lernprozesses sowohl die Aussagen der Quellen zu dem betrachteten Faktum, als auch deren bisheriges Verhalten, bzw. deren bisherige Zuverlässigkeit berücksichtigt. To do this, the statements of the sources in the artificial neurons 102 the first layer 104 fed, so that the initial states of the artificial neurons 102 the first layer 104 corresponding to the statements of the respective sources assigned to the considered fact. Subsequently, the initial state of the neuron 102 the second layer 106 starting from the initial values of the artificial neurons 102 the first layer 104 determined. The initial value of the artificial neuron thus determined 102 the second layer 106 then corresponds precisely to the statement on the considered fact, which is most likely correct given all available information. Due to the previous learning process, both the statements of the sources regarding the considered fact, as well as their previous behavior, or their previous reliability are taken into account.

Ferner werden ab diesem Zeitpunkt die Zuverlässigkeitsmaße der Quellen als repräsentativ für alle Aussagen der Quelle angenommen, sodass eine Bewertung möglich wird, ob die Aussage einer Quelle tatsächlich zutreffend sein wird, oder nicht. Hierdurch können unterschiedliche Aussagen verschiedener Quellen zu einer bestimmten Information gegeneinander abgewogen werden. Zur Ausgabe der jeweiligen Zuverlässigkeitsmaße der Quellen kann dabei der Ausgangszustand des künstlichen Neurons 102 der zweiten Schicht 106 auf einen festen Wert, beispielsweise den Wert 1 gesetzt werden. Anschließend wird ausgehend von diesem Eingabewert und dem jeweiligen Verbindungsgewicht die Aktivierungsfunktion des künstlichen Neurons 102 der ersten Schicht 104 berechnet, welches gerade der Quelle zugeordnet ist, deren Zuverlässigkeitsmaß bestimmt werden soll. Der so ermittelte Ausgangswert des künstlichen Neurons 102 der ersten Schicht 104 entspricht dann gerade dem Zuverlässigkeitsmaß der Quelle, der das künstliche Neuron 102 zugeordnet ist. Further, from that point on, the reliability measures of the sources are assumed to be representative of all the statements of the source, so that an assessment is possible as to whether the statement of a source will actually be correct or not. As a result, different statements of different sources for a given information can be weighed against each other. To output the respective reliability measures of the sources, the initial state of the artificial neuron can be determined 102 the second layer 106 set to a fixed value, for example the value 1. Then, based on this input value and the respective connection weight, the activation function of the artificial neuron 102 the first layer 104 calculated, which is just assigned to the source whose reliability measure is to be determined. The initial value of the artificial neuron thus determined 102 the first layer 104 then corresponds exactly to the reliability measure of the source, the artificial neuron 102 assigned.

Die 2 zeigt eine schematische Darstellung einer möglichen Umgebung 200 in der das beschriebene Verfahren angewendet werden kann. Die Umgebung 200 kann beispielsweise eine Produktionsstraße 202 zu Herstellung und Nachbehandlung von Werkstücken aufweisen. Innerhalb der Produktionsstraße 202 finden durch entsprechende Sensorvorrichtungen 204 wiederholt Messungen an den Werkstücken statt, um bestimmte Qualitätsmerkmale der erzeugten Werkstücke fortlaufend zu prüfen. Dabei werden durch die Sensorvorrichtungen 204 die ermittelten Werte jeweils mit entsprechenden Toleranzgrenzen verglichen, um zu ermitteln, ob die gewünschte Fertigungsqualität erreicht wird. Beispielsweise können die Sensorvorrichtungen 204 dementsprechend dazu ausgebildet sein, für verschiedene zu überwachende Größen (Informationen) jeweils eine Aussage auszugeben, welche andeutet, ob die Toleranzen eingehalten wurden (logische 1) oder ob die Toleranzgrenzen überschritten wurden (logische 0). The 2 shows a schematic representation of a possible environment 200 in which the method described can be applied. The environment 200 for example, a production line 202 have to manufacture and after treatment of workpieces. Inside the production line 202 find through appropriate sensor devices 204 Repeated measurements take place on the workpieces to continuously check certain quality characteristics of the workpieces produced. In this case, by the sensor devices 204 the determined values are each compared with corresponding tolerance limits to determine whether the desired manufacturing quality is achieved. For example, the sensor devices 204 Accordingly, be designed to each output a statement for different quantities to be monitored (information), which indicates whether the tolerances were met (logical 1) or whether the tolerance limits were exceeded (logical 0).

Diese Ausgabewerte werden dann von den Sensorvorrichtungen 204 an ein mit den Sensorvorrichtungen 204 verbundenes Computersystem 206 übertragen. Auf dem Computersystem 206 ist dabei ein neuronales Netz 100, wie es beispielhaft in 1 dargestellt ist, implementiert. Anhand der von den Sensorvorrichtungen 204 empfangenen Informationen wird dann, wie zuvor bereits beschrieben wurde, zunächst dem neuronalen Netz 100 beigebracht, wie Aussagen der Sensorvorrichtungen 204 zu bewerten sind, sodass anschließend geprüft werden kann, ob von den Sensorvorrichtungen 204 empfangene Aussagen korrekt sind, bzw. wie stark die Aussagen einzelner Sensorvorrichtungen 204 gegenüber den übrigen Sensorvorrichtungen 204 gewichtet werden müssen, sollten die Aussagen verschiedener Sensorvorrichtungen 204 voneinander abweichen. These output values are then output from the sensor devices 204 to one with the sensor devices 204 connected computer system 206 transfer. On the computer system 206 is a neural network 100 as exemplified in 1 is shown implemented. On the basis of the sensor devices 204 received information is then, as previously described, first the neural network 100 taught how statements of the sensor devices 204 be evaluated, so that it can then be checked whether of the sensor devices 204 received statements are correct, or how strong the statements of individual sensor devices 204 opposite the other sensor devices 204 should be weighted, the statements of different sensor devices 204 differ from each other.

Die Erfindung ist nicht auf eine der vorbeschriebenen Ausführungsformen beschränkt, sondern in vielfältiger Weise abwandelbar. The invention is not limited to one of the above-described embodiments, but can be modified in many ways.

Sämtliche aus den Ansprüchen, der Beschreibung und der Zeichnung hervorgehenden Merkmale und Vorteile, einschließlich konstruktiver Einzelheiten, räumlicher Anordnungen und Verfahrensschritten, können sowohl für sich als auch in den verschiedensten Kombinationen erfindungswesentlich sein. All of the claims, the description and the drawings resulting features and advantages, including design details, spatial arrangements and method steps may be essential to the invention both in itself and in various combinations.

Claims

A computer-implemented method for evaluating statements of a plurality of sources into a plurality of facts by an artificial neural network, wherein the artificial neural network comprises a first set of artificial neurons in a first layer and at least one artificial neuron in a second layer, wherein all artificial neurons of the first layer are connected to the artificial neuron of the second layer, wherein each connection between an artificial neuron of the first layer and the artificial neuron of the second layer is assigned a connection weight, wherein the sources are each assigned at least one measure of reliability the reliability of statements of the source, the method comprising the steps of: a) determining the reliability measures of the sources, b) assigning a set of connection weights to the connections of the neural network based on the estimated reliability initially, c) initializing the output states of the first layer artificial neurons based on the statements of at least one source from the plurality of sources to a first fact; d) performing sampling of the output state of the second layer artificial neuron based on the output states of the artificial neurons e) performing sampling of the output states of all artificial neurons of the first layer based on the initial state of the artificial neuron of the second layer and the respective connection weights; f) performing sampling of the output state of the artificial neuron of the second layer g) adjusting the set of connection weights based on the change of the output states of the artificial neurons, the first one, on the output states of the first layer artificial neurons and the respective connection weights; n layer and the second layer in steps d), e) and f), wherein the steps c), d), e), f) and g) are repeated for the respective statements of the plurality of sources to the plurality of facts until the change in the connection weights in step g) is below a defined limit.

A method according to claim 1, characterized in that the artificial neurons of the first layer are each assigned a source, wherein the output value of an artificial neuron of the first layer corresponds to a statement of the source associated with the neuron to a fact.

Method according to claim 1 or 2, characterized in that in determining the reliability measures of the sources the same value for the respective reliability measure is assigned to all sources.

Method according to one of the preceding claims, characterized in that the sampling of the output state of the artificial neuron of the second layer by determining a first random number between 0 and 1, calculate the activation function of the artificial neuron of the second layer for the initial states of the artificial neurons of the first layer and the respective connection weights and comparisons of the random number with the activation function, wherein the initial state of the artificial neuron is set to 0 if the random number is greater than the activation function and the initial state of the artificial neuron is set to 1 if the random number is less than or equal to Activation function is.

Method according to one of the preceding claims, characterized in that the sampling of the initial states of the artificial neurons of the first layer for each artificial neuron of the first layer by determining a second random number between 0 and 1, calculate the activation function of an artificial neuron of the first layer for the Initial state of the artificial neuron of the second layer and the respective connection weights and comparisons of the random number with the activation function, wherein the initial state of the artificial neuron is set to 0, if the random number is greater than the activation function and the initial state of the artificial neuron is set to 1 if the random number is less than or equal to the activation function,

Method according to one of the preceding claims 4 or 5, characterized in that the activation functions of the artificial neurons are sigmoid functions.

Method according to one of the preceding claims, characterized in that the change of the connection weights for adjusting the set of connection weights in step g) is proportional to the difference between the outer product of the initial states of the artificial neurons of the first and second layers after performing the step d ) and the outer product of the initial states of the artificial neurons of the first and second layers after performing step f).

A computer program product having program instructions executable on a computer system which, upon execution of the program instructions on the computer system, cause the computer system to perform the method of any one of claims 1-7.

Apparatus for evaluating statements of a plurality of sources into a plurality of facts, the apparatus comprising a computer system having an artificial neural network, the artificial neural network comprising a first set of artificial neurons in a first layer and at least one artificial neuron in one second layer, wherein all artificial neurons of the first layer are connected to the artificial neuron of the second layer, each link between an artificial neuron of the first layer and the artificial neuron of the second layer is assigned a connection weight, wherein the sources each assigned a reliability measure which designates the reliability of statements of the source, the apparatus being designed to: a) determine the reliability measures of the sources, b) the neural network connections, a set of connection weights based on the estimated reliability c) initialize the initial states of the artificial neurons of the first layer based on the statements of at least one source from the plurality of sources to a first fact; d) sampling the initial state of the artificial neuron of the second layer based on the initial states of the artificial ones Perform neurons of the first layer and the respective connection weights, e) sampling the output states of all first layer artificial neurons based on the output state of the second layer artificial neuron and the respective connection weights; f) sampling the output state of the second layer artificial neuron based on the output states of the first layer artificial neurons and g) adjusting the set of connection weights based on the change of the initial states of the first-layer and second-layer artificial neurons in steps d), e) and f), the device being further adapted to perform the steps c), d), e), f) and g) for the respective statements of the plurality of sources to repeat the plurality of facts so often until the change in the connection weights in step g) is below a defined limit.