DE102020202092A1 - Computer-implemented method for identifying defects and / or defect patterns in objects to be tested - Google Patents

Computer-implemented method for identifying defects and / or defect patterns in objects to be tested Download PDF

Info

Publication number
DE102020202092A1
DE102020202092A1 DE102020202092.2A DE102020202092A DE102020202092A1 DE 102020202092 A1 DE102020202092 A1 DE 102020202092A1 DE 102020202092 A DE102020202092 A DE 102020202092A DE 102020202092 A1 DE102020202092 A1 DE 102020202092A1
Authority
DE
Germany
Prior art keywords
objects
rules
knowledge graph
test data
checked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020202092.2A
Other languages
German (de)
Inventor
Hermann Aichele
Andreas Klaedtke
Christoph Keller
Daria Stepanova
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020202092.2A priority Critical patent/DE102020202092A1/en
Publication of DE102020202092A1 publication Critical patent/DE102020202092A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Debugging And Monitoring (AREA)

Abstract

Computerimplementiertes Verfahren (100) zum Identifizieren von Fehlern und/oder Fehlermustern in zu prüfenden Objekten, wobei die zu prüfenden Objekte insbesondere Steuergeräte und/oder Bauteile davon umfassen, das Verfahren (100) umfassend die Schritte:Erstellen (110) eines Knowledge Graphs (KG) basierend auf Testdaten (D) der zu prüfenden Objekte;Ableiten (120) von Regeln (R) aus dem Knowledge Graph (KG).Computer-implemented method (100) for identifying errors and / or error patterns in objects to be checked, the objects to be checked in particular comprising control devices and / or components thereof, the method (100) comprising the steps of: creating (110) a knowledge graph (KG ) based on test data (D) of the objects to be checked; deriving (120) rules (R) from the knowledge graph (KG).

Description

Stand der TechnikState of the art

Die Offenbarung betrifft ein computerimplementiertes Verfahren zum Identifizieren von Fehlern und/oder Fehlermustern in zu prüfenden Objekten.The disclosure relates to a computer-implemented method for identifying defects and / or defect patterns in objects to be tested.

In der Produktentwicklung werden die entwickelnden Objekte während der Entwicklung und/oder am Ende der Entwicklung verschiedenen Tests und Prüfungen unterzogen. Das zu prüfende Objekt, engl. Device under Test (DUT), ist beispielsweise ein elektromechanisches Objekt, insbesondere ein Steuergerät und/oder Bauteile hiervon. Beispielsweise kann es sich bei einem solchen Test um einen Test zur Prüfung der elektromagnetischen Verträglichkeit (EMV) handeln.In product development, the objects to be developed are subjected to various tests and inspections during development and / or at the end of development. The object to be tested, engl. Device under test (DUT) is, for example, an electromechanical object, in particular a control device and / or components thereof. For example, such a test can be a test for checking electromagnetic compatibility (EMC).

Das Auswerten der Testdaten, insbesondere das Identifizieren von Fehlern und/oder Fehlermustern in den Testdaten, ist aufgrund der unter anderem sehr umfangreichen Datenmenge an Testdaten sehr zeitaufwändig und manuell kaum durchführbar.The evaluation of the test data, in particular the identification of errors and / or error patterns in the test data, is very time-consuming and can hardly be carried out manually due to the large amount of test data, among other things.

Offenbarung der ErfindungDisclosure of the invention

Die Offenbarung betrifft ein computerimplementiertes Verfahren zum Identifizieren von Fehlern und/oder Fehlermustern in zu prüfenden Objekten, wobei die zu prüfenden Objekte insbesondere Steuergeräte und/oder Bauteile davon umfassen, das Verfahren umfassend die Schritte:

  • Erstellen eines Knowledge Graphs basierend auf Testdaten der zu prüfenden Objekte; Ableiten von Regeln aus dem Knowledge Graph.
The disclosure relates to a computer-implemented method for identifying errors and / or error patterns in objects to be checked, the objects to be checked in particular comprising control devices and / or components thereof, the method comprising the steps:
  • Creation of a knowledge graph based on test data of the objects to be tested; Deriving rules from the knowledge graph.

Es wird also vorgeschlagen, die Testdaten in einem Knowledge Graph strukturiert zu speichern und ausgehend von dem Knowledge Graph Regeln abzuleiten. Anhand dieser Regeln können dann Fehler bzw. Fehlermuster identifiziert werden.It is therefore proposed to store the test data in a structured manner in a knowledge graph and to derive rules based on the knowledge graph. Using these rules, errors or error patterns can then be identified.

Unter einem Knowledge Graph wird in wissensbasierten Systemen eine strukturierte Speicherung von Wissen in Form eines Knowledge Graphs verstanden. Knowledge Graphen umfassen Entitäten und geben Beziehungen zwischen Entitäten wieder.In knowledge-based systems, a knowledge graph is understood to be a structured storage of knowledge in the form of a knowledge graph. Knowledge graphs encompass entities and show relationships between entities.

Das Ableiten von Regeln aus einem Knowledge Graph ist beispielsweise beschrieben inThe derivation of rules from a knowledge graph is described, for example, in

Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 , und Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 , and

Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019 . Towards Nonmonotonic Relational Learning from Knowledge Graphs. ILP 2016: 94-107. Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019 . Towards Nonmonotonic Relational Learning from Knowledge Graphs. ILP 2016: 94-107.

Gemäß einer bevorzugten Ausführungsform umfassen die Testdaten Testergebnisse und/oder Eigenschaften der zu prüfenden Objekte. Die Testergebnisse umfassen beispielsweise zusätzlich Spezifikationen der durchgeführten Prüfungen. Die Eigenschaften der zu prüfenden Objekte umfassen beispielsweise Informationen über Art und Eigenschaft der zu prüfenden Objekte. Die Testdaten können beispielsweise in Textform vorliegen. Die Testdaten können vorteilhafterweise mit Fachkenntnissen und/oder Expertenwissen aus spezifischen Bereichen ergänzt werden.According to a preferred embodiment, the test data include test results and / or properties of the objects to be tested. The test results also include, for example, specifications of the tests carried out. The properties of the objects to be checked include, for example, information about the type and properties of the objects to be checked. The test data can be in text form, for example. The test data can advantageously be supplemented with specialist knowledge and / or expert knowledge from specific areas.

Das Erstellen des Knowledge Graphs kann beispielsweise manuell erfolgen. Insbesondere bei umfangreichen Testdaten kann es sich als vorteilhaft erweisen, wenn das Erstellen des Knowledge Graphs semi-automatisch oder automatisch erfolgt.The creation of the knowledge graph can be done manually, for example. In the case of extensive test data in particular, it can prove to be advantageous if the creation of the knowledge graph takes place semi-automatically or automatically.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass das Verfahren weiter umfasst: Erstellen eines Embedding Modells des Knowledge Graphs. Dies erweist sich als vorteilhaft, da der auf den Testdaten basierend erstellte Knowledge Graph zunächst unvollständig sein kann, und durch das Embedding Modell vervollständigt werden kann. Ein aus dem Stand der Technik bekanntes Embedding Modell ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013 . Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 . Weitere Modelle sind beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90 .According to a preferred embodiment it is provided that the method further comprises: creating an embedding model of the knowledge graph. This proves to be advantageous since the knowledge graph created based on the test data can initially be incomplete and can be completed by the embedding model. An embedding model known from the prior art is, for example, TransE disclosed in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013 . Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 . Further models are described in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule learning from knowledge graphs guided by embedding models. International Semantic Web Conference (1), 2018: 72-90 .

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass das Verfahren weiter umfasst: Evaluieren von Regeln basierend auf dem Embedding Modell. Anhand des Embedding Modells können die aus dem Knowledge Graph abgeleiteten Regeln, insbesondere eine Qualität der Regeln, bewertet werden.According to a preferred embodiment it is provided that the method further comprises: evaluating rules based on the embedding model. Using the embedding model, the rules derived from the knowledge graph, in particular a quality of the rules, can be evaluated.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens von Regeln einen iterativen Prozess zum Konstruieren von Regeln umfasst. Der iterative Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90 . According to a preferred embodiment it is provided that the step of deriving rules comprises an iterative process for constructing rules. The iterative process is described, for example, in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule learning from knowledge graphs guided by embedding models. International Semantic Web Conference (1), 2018: 72-90 .

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass das Verfahren weiter umfasst: Ausgeben von finalen Regeln.According to a preferred embodiment it is provided that the method further comprises: outputting final rules.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass finale Regeln Fehler und/oder Fehlermuster in zu prüfenden Objekten umfassen. Anhand dieser Fehler bzw. Fehlermuster kann dann vorteilhaft erklärt werden, warum bestimmte Tests bzw. Prüfungen bei bestimmten Objekten zu einem bestimmten Ergebnis geführt haben. Vorteilhafterweise können so durch das Ausgeben von finalen Regeln Gründe für das Scheitern bestimmter Tests bzw. Prüfungen an den betreffenden Objekten erkannt werden. Vorteilhafterweise kann in den finalen Regeln auch eine oder mehrere Ursache-Wirkungs-Beziehungen erkannt werden.According to a preferred embodiment, it is provided that final rules include errors and / or error patterns in objects to be checked. On the basis of these errors or error patterns, it can then be advantageously explained why certain tests or checks have led to a certain result for certain objects. Advantageously, by outputting final rules, reasons for the failure of certain tests or checks on the relevant objects can be recognized. Advantageously, one or more cause-effect relationships can also be recognized in the final rules.

Weitere bevorzugte Ausführungsformen beziehen sich auf eine Vorrichtung umfassend wenigstens einen Prozessor, wobei der Prozessor ausgebildet ist, das Verfahren gemäß den Ausführungsformen auszuführen.Further preferred embodiments relate to a device comprising at least one processor, the processor being designed to carry out the method according to the embodiments.

Weitere bevorzugte Ausführungsformen beziehen sich auf eine Verwendung eines Verfahrens gemäß den Ausführungsform und/oder einer Vorrichtung gemäß den Ausführungsformen zum Auswerten von Testdaten um Fehler und/oder Fehlermuster in den zu testenden Produkten zu identifizieren.Further preferred embodiments relate to a use of a method according to the embodiment and / or a device according to the embodiments for evaluating test data in order to identify errors and / or error patterns in the products to be tested.

Eine solche Verwendung bietet sich beispielsweise im Bereich der Produktentwicklung und/oder im Bereich der Materialwissenschaften an. Die Testdaten umfassen beispielsweise vorhandene Testdaten aus Prüfungen, die während der Produktentwicklung und/oder Endprüfung eines, insbesondere elektromechanischen Objektes, insbesondere während einer EMV-Prüfung, gewonnen wurden.Such a use is suitable, for example, in the area of product development and / or in the area of materials science. The test data include, for example, existing test data from tests that were obtained during product development and / or final testing of an object, in particular an electromechanical object, in particular during an EMC test.

Vorteilhafterweise können Fehler und/oder Fehlermuster in den zu testenden Objekten, und/oder um gemeinsame Fehler und/oder Fehlermuster in Produkten und/oder in Produktfamilien identifiziert werden.Advantageously, errors and / or error patterns in the objects to be tested and / or around common errors and / or error patterns in products and / or in product families can be identified.

Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.

  • 1 eine schematische Übersicht eines Verfahrens gemäß einer Ausführungsform in einem Blockdiagramm;
  • 2 eine schematische Darstellung von Schritten eines Verfahrens gemäß einer Ausführungsform in einem Flussdiagramm, und
  • 3 eine schematische Darstellung von Schritten eines Verfahrens gemäß einer weiteren Ausführungsform in einem Flussdiagramm, und
  • 4 eine beispielhafte Darstellung eines Knowledge Graphs.
Further features, possible applications and advantages of the invention emerge from the following description of exemplary embodiments of the invention, which are shown in the figures of the drawing. All of the features described or shown form the subject matter of the invention individually or in any combination, regardless of how they are summarized in the patent claims or their reference, and regardless of their wording or representation in the description or in the drawing.
  • 1 a schematic overview of a method according to an embodiment in a block diagram;
  • 2 a schematic representation of steps of a method according to an embodiment in a flowchart, and
  • 3 a schematic representation of steps of a method according to a further embodiment in a flowchart, and
  • 4th an exemplary representation of a knowledge graph.

1 zeigt eine schematische Darstellung von Schritten eines Verfahrens 100 zum Identifizieren von Fehlern und/oder Fehlermustern in zu prüfenden Objekten, wobei die zu prüfenden Objekte insbesondere Steuergeräte und/oder Bauteile davon umfassen in einem Blockdiagramm. Ferner umfasst 1 eine schematische Darstellung von Daten, insbesondere Testdaten. 1 shows a schematic representation of steps of a method 100 for identifying errors and / or error patterns in objects to be checked, the objects to be checked in particular comprising control devices and / or components thereof in a block diagram. Also includes 1 a schematic representation of data, in particular test data.

Das Verfahren 100 umfasst die folgenden Schritte:

  • einen Schritt 110 zum Erstellen eines Knowledge Graphs KG basierend auf Testdaten D der zu prüfenden Objekte,
  • und einen Schritt 120 zum Ableiten von Regeln R aus dem Knowledge Graph KG.
The procedure 100 includes the following steps:
  • one step 110 to create a knowledge graph KG based on test data D. the objects to be checked,
  • and one step 120 for deriving rules R. from the Knowledge Graph KG .

Gemäß dem Verfahren 100 werden also die Testdaten D in einem Knowledge Graph KG strukturiert zu speichern und ausgehend von dem Knowledge Graph KG Regeln R abgeleitet. Anhand dieser Regeln R können dann Fehler bzw. Fehlermuster identifiziert werden.According to the procedure 100 so are the test data D. in a knowledge graph KG to be saved in a structured manner and based on the Knowledge Graph KG rules R. derived. Using these rules R. errors or error patterns can then be identified.

Der Knowledge Graph KG umfasst eine strukturierte Speicherung der Testdaten D in Form eines Knowledge Graphs. Knowledge Graphen umfassen im Allgemeinen Entitäten und geben Beziehungen zwischen Entitäten wieder.The Knowledge Graph KG includes a structured storage of the test data D. in the form of a knowledge graph. Knowledge graphs generally include entities and show relationships between entities.

Das Ableiten 120 von Regeln aus einem Knowledge Graph ist beispielsweise beschrieben in Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 , und Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019. Towards Nonmonotonic Relational Learning from Knowledge Graphs. ILP 2016: 94-107. The derivation 120 of rules from a knowledge graph is described, for example, in Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, and Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 , and Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019. Towards Nonmonotonic Relational Learning from Knowledge Graphs. ILP 2016: 94-107.

Gemäß einer bevorzugten Ausführungsform umfassen die Testdaten D Testergebnisse und/oder Eigenschaften der zu prüfenden Objekte. Die Testergebnisse umfassen beispielsweise zusätzlich Spezifikationen der durchgeführten Prüfungen. Die Eigenschaften der zu prüfenden Objekte umfassen beispielsweise Informationen über Art und Eigenschaft der zu prüfenden Objekte. Die Testdaten D können beispielsweise in Textform vorliegen. Die Testdaten können D vorteilhafterweise mit Fachkenntnissen, Expertenwissen aus spezifischen Bereichen ergänzt werden.According to a preferred embodiment, the test data comprise D. Test results and / or properties of the objects to be tested. The test results also include, for example, specifications of the tests carried out. the Properties of the objects to be checked include, for example, information about the type and properties of the objects to be checked. The test data D. can be in text form, for example. The test data can D. advantageously supplemented with specialist knowledge, expert knowledge from specific areas.

Das Erstellen 110 des Knowledge Graphs KG kann beispielsweise manuell erfolgen. Insbesondere bei umfangreichen Testdaten D kann es sich als vorteilhaft erweisen, wenn das Erstellen 110 des Knowledge Graphs KG semi-automatisch oder automatisch erfolgt.Creating 110 of the Knowledge Graph KG can be done manually, for example. Especially with extensive test data D. it can prove beneficial when creating 110 of the Knowledge Graph KG semi-automatically or automatically.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass das Verfahren weiter einen Schritt 130 zum Erstellen eines Embedding Modells M des Knowledge Graphs KG umfasst. Dies erweist sich als vorteilhaft, da der auf den Testdaten D basierend erstellte Knowledge Graph KG zunächst unvollständig sein kann, und durch das Embedding Modell M vervollständigt werden kann. Ein aus dem Stand der Technik bekanntes Embedding Modell M ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013. Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 . Weitere Modelle sind beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90 .According to a preferred embodiment it is provided that the method has a further step 130 to create an embedding model M. of the Knowledge Graph KG includes. This proves to be beneficial because of the test data D. based knowledge graph KG may be incomplete at first, and by the embedding model M. can be completed. An embedding model M known from the prior art is, for example, TransE disclosed in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013. Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 . Further models are described in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule learning from knowledge graphs guided by embedding models. International Semantic Web Conference (1), 2018: 72-90 .

Gemäß einer Ausführungsform umfasst das Verfahren weiter einen Schritt 140 zum Evaluieren von Regeln R basierend auf dem Embedding Modell M. Dies ist in 1 schematisch durch den Doppelpfeil 140 dargestellt. Anhand des Embedding Modells M können die aus dem Knowledge Graph KG abgeleiteten Regeln R, insbesondere eine Qualität der Regeln R, bewertet werden.According to one embodiment, the method further comprises a step 140 to evaluate rules R. based on the embedding model M. . This is in 1 schematically by the double arrow 140 shown. Using the embedding model M. can use the knowledge graph KG derived rules R. , in particular a quality of the rules R. , be rated.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens 120 von Regeln R einen iterativen Prozess zum Konstruieren von Regeln R umfasst. Solch ein iterativer Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90 . According to a preferred embodiment it is provided that the step of deriving 120 rules R comprises an iterative process for constructing rules R. Such an iterative process is described, for example, in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 . Rule learning from knowledge graphs guided by embedding models. International Semantic Web Conference (1), 2018: 72-90 .

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass das Verfahren 100 weiter einen Schritt 150 zum Ausgeben von finalen Regeln Rf umfasst.According to a preferred embodiment it is provided that the method 100 one step further 150 for outputting final rules includes Rf.

Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass finale Regeln Rf Fehler und/oder Fehlermuster in zu prüfenden Objekten umfassen. Anhand dieser Fehler bzw. Fehlermuster kann dann vorteilhaft erklärt werden, warum bestimmte Tests bzw. Prüfungen bei bestimmten Objekten zu einem bestimmten Ergebnis geführt haben. Vorteilhafterweise können so durch das Ausgeben 150 von finalen Regeln Rf Gründe für das Scheitern bestimmter Tests bzw. Prüfungen an den betreffenden Objekten erkannt werden. Vorteilhafterweise kann in den finalen Regeln Rf auch eine oder mehrere Ursache-Wirkungs-Beziehungen erkannt werden.According to a preferred embodiment it is provided that final rules Rf include errors and / or error patterns in objects to be checked. On the basis of these errors or error patterns, it can then be advantageously explained why certain tests or checks have led to a certain result for certain objects. Advantageously, by spending 150 final rules Rf recognize reasons for the failure of certain tests or checks on the objects in question. One or more cause-effect relationships can advantageously also be recognized in the final rules Rf.

Weitere bevorzugte Ausführungsformen beziehen sich auf eine Verwendung eines Verfahrens 100 gemäß den Ausführungsform zum Auswerten von Testdaten um Fehler und/oder Fehlermuster in den zu testenden Produkten zu identifizieren.Further preferred embodiments relate to the use of a method 100 according to the embodiment for evaluating test data in order to identify defects and / or defect patterns in the products to be tested.

Eine solche Verwendung bietet sich beispielsweise im Bereich der Produktentwicklung und/oder im Bereich der Materialwissenschaften an. Die Testdaten D umfassen beispielsweise vorhandene Testdaten D aus Prüfungen, die während der Produktentwicklung und/oder Endprüfung eines, insbesondere elektromechanischen Objektes, insbesondere während einer EMV-Prüfung, gewonnen wurden.Such a use is suitable, for example, in the area of product development and / or in the area of materials science. The test data D. include, for example, existing test data D. from tests that were obtained during product development and / or the final test of an, in particular electromechanical, object, in particular during an EMC test.

Vorteilhafterweise können Fehler und/oder Fehlermuster in den zu testenden Objekten, und/oder um gemeinsame Fehler und/oder Fehlermuster in Produkten und/oder in Produktfamilien identifiziert werden.Advantageously, errors and / or error patterns in the objects to be tested and / or around common errors and / or error patterns in products and / or in product families can be identified.

2 zeigt die Schritte 110 und 120 des Verfahrens 100 in einer schematischen Darstellung in einem Flussdiagramm. 2 shows the steps 110 and 120 of the procedure 100 in a schematic representation in a flow chart.

3 zeigt die Schritte 110, 120, 130, 140, 150 des Verfahrens 100 in einer schematischen Darstellung in einem Flussdiagramm. Der Schritt 130 zum Erstellen des Embedding Modells M kann auch vor dem Schritt 120 zum Ableiten von Regeln R ausgeführt werden. Ferner ist es denkbar, dass der Schritt 120 zum Ableiten von Regeln R und/oder der Schritt 140 zum Evaluieren von Regeln R und/oder der Schritt 150 zum Ausgeben von finalen Regeln Rf für eine jeweilige R getrennt ausgeführt wird. 3 shows the steps 110 , 120 , 130 , 140 , 150 of the procedure 100 in a schematic representation in a flow chart. The step 130 to create the embedding model M. can also be before the step 120 for deriving rules R. are executed. It is also conceivable that the step 120 for deriving rules R. and / or the step 140 to evaluate rules R. and / or the step 150 for outputting final rules Rf for a respective R. is executed separately.

4 zeigt eine beispielhafte Darstellung eines Knowledge Graphs KG. Der Knowledge Graph KG ist beispielsweise gemäß Schritt 120 des Verfahrens 100 basierend auf Testdaten D erstellt. Dabei ist in 4 beispielhaft nur ein kleiner Ausschnitt dargestellt. 4th shows an exemplary representation of a knowledge graph KG . The Knowledge Graph KG is for example according to step 120 of the procedure 100 based on test data D. created. In 4th only a small excerpt is shown as an example.

Der Knowledge Graph KG umfasst gemäß der dargestellten Ausführungsform Entitäten E1 bis E10 und Beziehungen zwischen den Entitäten E1 bis E10. Beziehungen sind dargestellt durch die Pfeile R12, R32, R34, R51, R65, R63, R67, R610, R98, R109. Der Knowledge Graph KG ist beispielsweise basierend auf Testdaten D von Tests eines Steuergeräts erstellt worden. Entität E5 ist gemäß der dargestellten Ausführungsform ein erstes Produkt 1. Entität E5 ist vom Typ Entität E1. Die Beziehung zwischen den Entitäten E5 und E1 ist in diesem Fall „ist Typ“, engl. „type“. Die Entität E1 ist beispielsweise ein Motorsteuergerät, engl. Engine Control Unit. Die Entität E2 ist beispielsweise ein DCDC-Wandler. Entität E2 ist beispielsweise ein Teil von Entität E1. Die Entität E1 weist also Entität E2 auf. Die Beziehung R12 zwischen Entität E1 und E2 ist in diesem Fall „aufweisen“, engl. „has part“. Entität E3 ist ein DCDC-Wandler in Zustand 1. Entität E3 ist beispielsweise eine Kopie der Entität E2. In diesem Fall ist die Beziehung R32 zwischen Entität E3 und Entität E2 „ist eine Kopie von“, engl. „copy of“. Entität E6 ist eine Kopie von, R65, der Entität E5. Entität E6 ist ein Produkt 1 in einem ersten Zustand, engl. Product1lnState1, wobei der Zustand durch die Beziehung R67 „hat Zustand“, engl. „has State“, zwischen den Entitäten E6 und E7dargestellt wird, und E7 den Zustand Motorbetrieb, engl. „Engine running“ bezeichnet. Entität E7 ist durch einen ersten Test, Entität E10, durchgefallen. Dies wird durch die Beziehung R610 „durchgefallen“, engl. „failed“ zwischen den Entitäten E6 und E10 dargestellt. Entität E10 ist gemäß der dargestellten Ausführungsform vom Typ, Beziehung R109, Entität E9, wobei Entität E9 beispielsweise eine „Antennenpolarisation“, engl. „antenna polarization“, ist. Entität E9 ist gemäß der dargestellten Ausführungsform vom Typ, Beziehung R98, Entität E8, wobei Entität E8 beispielsweise eine „Störaussendung“, engl. „radiated emission“, ist.The Knowledge Graph KG comprises entities according to the illustrated embodiment E1 until E10 and relationships between the entities E1 until E10 . Relationships are represented by the arrows R12 , R32 , R34 , R51 , R65 , R63 , R67 , R610 , R98 , R109 . The Knowledge Graph KG is based on test data, for example D. from tests of an ECU. entity E5 is a first product according to the illustrated embodiment 1 . entity E5 is of type Entity E1 . The relationship between the entities E5 and E1 is in this case "is type". "Type". The entity E1 is for example an engine control unit. Engine control unit. The entity E2 is for example a DCDC converter. entity E2 is part of Entity, for example E1 . The entity E1 thus shows entity E2 on. The relationship R12 between entity E1 and E2 is in this case "have""Haspart". entity E3 a DCDC converter is in condition 1 . entity E3 for example, is a copy of the entity E2 . In this case the relationship is R32 between entity E3 and entity E2 "Is a copy of""Copyof". entity E6 is a copy of, R65, the entity E5 . entity E6 is a product 1 in a first state, engl. Product1lnState1, where the state is given by the relationship R67 "Has condition", engl. "Has State", between the entities E6 and E7 is shown, and E7 the state of engine operation. "Engine running". entity E7 is through a first test, entity E10 , failed. This is done through the relationship R610 "Failed", engl. "Failed" between the entities E6 and E10 shown. entity E10 is of the type, relationship, according to the illustrated embodiment R109 , Entity E9 , where entity E9 for example an "antenna polarization". "Antenna polarization" is. entity E9 is of the type, relationship, according to the illustrated embodiment R98 , Entity E8 , where entity E8 for example, an "interference emission". "Radiated emission" is.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

  • Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 [0008]Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 [0008]
  • Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019 [0009]Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019 [0009]
  • Ein aus dem Stand der Technik bekanntes Embedding Modell ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013 [0012]An embedding model known from the prior art is, for example, TransE disclosed in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013 [0012]
  • Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 [0012]Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 [0012]
  • Weitere Modelle sind beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0012, 0029]Further models are described in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0012, 0029]
  • Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90 [0012, 0014, 0029, 0031]Rule learning from knowledge graphs guided by embedding models. International Semantic Web Conference (1), 2018: 72-90 [0012, 0014, 0029, 0031]
  • Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens von Regeln einen iterativen Prozess zum Konstruieren von Regeln umfasst. Der iterative Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0014]According to a preferred embodiment it is provided that the step of deriving rules comprises an iterative process for constructing rules. The iterative process is described, for example, in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0014]
  • Das Ableiten 120 von Regeln aus einem Knowledge Graph ist beispielsweise beschrieben in Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 [0026]The derivation 120 of rules from a knowledge graph is described, for example, in Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, and Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251 [0026]
  • Ein aus dem Stand der Technik bekanntes Embedding Modell M ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013. Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 [0029]An embedding model M known from the prior art is, for example, TransE disclosed in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013. Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013 [0029]
  • Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens 120 von Regeln R einen iterativen Prozess zum Konstruieren von Regeln R umfasst. Solch ein iterativer Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0031]According to a preferred embodiment it is provided that the step of deriving 120 rules R comprises an iterative process for constructing rules R. Such an iterative process is described, for example, in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018 [0031]

Claims (10)

Computerimplementiertes Verfahren (100) zum Identifizieren von Fehlern und/oder Fehlermustern in zu prüfenden Objekten, wobei die zu prüfenden Objekte insbesondere Steuergeräte und/oder Bauteile davon umfassen, das Verfahren (100) umfassend die Schritte: Erstellen (110) eines Knowledge Graphs (KG) basierend auf Testdaten (D) der zu prüfenden Objekte; Ableiten (120) von Regeln (R) aus dem Knowledge Graph (KG).Computer-implemented method (100) for identifying errors and / or error patterns in objects to be checked, the objects to be checked in particular comprising control devices and / or components thereof, the method (100) comprising the steps: Creation (110) of a knowledge graph (KG) based on test data (D) of the objects to be checked; Deriving (120) rules (R) from the knowledge graph (KG). Verfahren (100) nach Anspruch 1, wobei die Testdaten (D) Testergebnisse und/oder Eigenschaften der zu prüfenden Objekte umfassen.Method (100) according to Claim 1 , the test data (D) comprising test results and / or properties of the objects to be tested. Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Erstellen (110) des Knowledge Graphs (KG) semi-automatisch oder automatisch erfolgt.Method (100) according to at least one of the preceding claims, wherein the creation (110) of the knowledge graph (KG) takes place semi-automatically or automatically. Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren (100) weiter umfasst: Erstellen (130) eines Embedding Modells (M) des Knowledge Graphs (KG).The method (100) according to at least one of the preceding claims, wherein the method (100) further comprises: creating (130) an embedding model (M) of the knowledge graph (KG). Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren (100) weiter umfasst: Evaluieren (140) von Regeln (R) basierend auf dem Embedding Modell (M).The method (100) according to at least one of the preceding claims, wherein the method (100) further comprises: evaluating (140) rules (R) based on the embedding model (M). Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei der Schritt des Ableitens (120) von Regeln (R) einen iterativen Prozess zum Konstruieren von Regeln (R) umfasst.The method (100) according to at least one of the preceding claims, wherein the step of deriving (120) rules (R) comprises an iterative process for constructing rules (R). Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei das Verfahren (100) weiter umfasst: Ausgeben (150) von finalen Regeln (Rf).The method (100) according to at least one of the preceding claims, wherein the method (100) further comprises: outputting (150) final rules (Rf). Verfahren (100) nach wenigstens einem der vorhergehenden Ansprüche, wobei die finalen Regeln (Rf) Fehler und/oder Fehlermuster in zu prüfenden Objekten umfassen.The method (100) according to at least one of the preceding claims, wherein the final rules (Rf) include errors and / or error patterns in objects to be checked. Vorrichtung umfassend wenigstens einen Prozessor, wobei der Prozessor ausgebildet ist, das Verfahren (100) nach wenigstens einem der Ansprüche 1 bis 8 auszuführen.Apparatus comprising at least one processor, wherein the processor is designed, the method (100) according to at least one of Claims 1 until 8th to execute. Verwenden eines Verfahrens (100) gemäß einem der Ansprüche 1 bis 8 und/oder einer Vorrichtung gemäß Anspruch 9 zum Auswerten von Testdaten (D) um Fehler und/oder Fehlermuster in den zu testenden Produkten zu identifizieren.Using a method (100) according to one of the Claims 1 until 8th and / or a device according to Claim 9 for evaluating test data (D) in order to identify defects and / or defect patterns in the products to be tested.
DE102020202092.2A 2020-02-19 2020-02-19 Computer-implemented method for identifying defects and / or defect patterns in objects to be tested Pending DE102020202092A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020202092.2A DE102020202092A1 (en) 2020-02-19 2020-02-19 Computer-implemented method for identifying defects and / or defect patterns in objects to be tested

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020202092.2A DE102020202092A1 (en) 2020-02-19 2020-02-19 Computer-implemented method for identifying defects and / or defect patterns in objects to be tested

Publications (1)

Publication Number Publication Date
DE102020202092A1 true DE102020202092A1 (en) 2021-08-19

Family

ID=77060710

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020202092.2A Pending DE102020202092A1 (en) 2020-02-19 2020-02-19 Computer-implemented method for identifying defects and / or defect patterns in objects to be tested

Country Status (1)

Country Link
DE (1) DE102020202092A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4141595A1 (en) * 2021-08-26 2023-03-01 Siemens Aktiengesellschaft Method for detecting the causes of anomalies affecting a physical product

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
Das Ableiten 120 von Regeln aus einem Knowledge Graph ist beispielsweise beschrieben in Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251
Ein aus dem Stand der Technik bekanntes Embedding Modell ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013
Ein aus dem Stand der Technik bekanntes Embedding Modell M ist beispielsweise TransE offenbart in Antoine Bordes, Nicolas Usunier, Alberto Garcia-Durän. 2013. Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013
Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens 120 von Regeln R einen iterativen Prozess zum Konstruieren von Regeln R umfasst. Solch ein iterativer Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018
Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass der Schritt des Ableitens von Regeln einen iterativen Prozess zum Konstruieren von Regeln umfasst. Der iterative Prozess ist beispielsweise beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018
Hai Dang Tran, Daria Stepanova, Mohamed H. Gad-Elrab, Francesca A. Lisi, Gerhard Weikum. 2019
HO, Vinh Thinh, [et al.]: Rule learning from knowledge graphs guided by embedding models. In: International Semantic Web Conference. Springer, Cham, 2018. S. 72-90. (In der Beschreibung zitiert.)
Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum. 2016 Exception-Enriched Rule Learning from Knowledge Graphs. International Semantic Web Conference (1) 2016: 234-251
Rule Learning from Knowledge Graphs guided by Embedding Models. International Semantic Web Conference (1), 2018: 72-90
SHI, Dan [et al.]: Intelligent Electromagnetic Compatibility Management of Cell Phones by Using Knowledge Graphs. IEEE Transactions on Industrial Electronics, 2019, 66. Jg., Nr. 12, S. 9808-9816.
Translating Embeddings for Modeling Multi-relational Data. In proceedings of NIPS, pages 2787-2795, 2013
Weitere Modelle sind beschrieben in Vinh Thinh Ho, Daria Stepanova, Mohamed Gad-Elrab, Evgeny Kharlamov, Gerhard Weikum. 2018

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4141595A1 (en) * 2021-08-26 2023-03-01 Siemens Aktiengesellschaft Method for detecting the causes of anomalies affecting a physical product
WO2023025431A1 (en) * 2021-08-26 2023-03-02 Siemens Aktiengesellschaft Method for recognizing causes of anomalies in a physical product

Similar Documents

Publication Publication Date Title
DE102013110786B4 (en) Method for diagnosing an exhaust gas recirculation system
DE102014102551A1 (en) Machine and method for evaluating failed software programs
DE102019133491A1 (en) Device and method for leak detection in a hydraulic cylinder
DE102020115571A1 (en) Digital double eco-system coupled with additive manufacturing as designed, as manufactured, as tested, as operated, as checked and as maintained
DE102020202092A1 (en) Computer-implemented method for identifying defects and / or defect patterns in objects to be tested
DE102011086352A1 (en) Method and diagnostic system to support guided troubleshooting in technical systems
DE102020208474A1 (en) Measuring the sensitivity of classifiers based on interacting disturbances
DE102013206291A1 (en) Method and apparatus for creating a non-parametric, data-based function model
DE102021200789A1 (en) Computer-implemented method and device for manipulation detection for exhaust aftertreatment systems using artificial intelligence methods
DE102010044039A1 (en) Method and device for quality analysis of system models
DE102020206327A1 (en) Method and device for testing a technical system
DE102019219730A1 (en) Method and device for model-based analysis
DE102020205394A1 (en) Computer-implemented method and apparatus for creating a knowledge graph
DE102022101290B4 (en) Fuel determination procedure
DE10137364A1 (en) Method for sorting mass-produced components by evaluation of acoustic response shift in which an additional evaluation step is incorporated that improves sorting yield as certain deviations from standard are permitted
DE102021130149A1 (en) Process for measuring photomasks for semiconductor lithography
DE102021207139A1 (en) Computer-implemented method for simulating a technical system
DE102018201710A1 (en) Method and device for checking a function of a neural network
DE102020214952A1 (en) Method and device for determining a closing time of an injector of an internal combustion engine using a machine learning system
DE102022212019A1 (en) Tank system and method for testing an isolating valve in a tank system
DE102022210131A1 (en) Method and controller for generating additional data for training and/or validating an anomaly detector
DE102021212727A1 (en) Method for generating training data for training a machine learning algorithm
DE102021201505A1 (en) Method and device for testing a technical system
DE102022205715A1 (en) Method for providing training data and test data for training a machine learning algorithm
DE102020215814A1 (en) Determination of the image parts that are relevant for an image classifier using binary masks

Legal Events

Date Code Title Description
R163 Identified publications notified