EP4740098A1 - Computerimplementiertes verfahren zum gruppieren von fehlerberichten in zumindest zwei fehlerbericht-gruppen ähnlicher fehlersituation - Google Patents

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren (100) zum Gruppieren von Fehlerberichten (10) in zumindest zwei Fehlerbericht-Gruppen (30) unterschiedlicher Fehlersituation (31, 32, 33, 34), sowie ein damit assoziiertes Computerprogrammprodukt (8), Gruppierungssystem (5) und System (200), umfassend das Gruppierungssystem (5) und zumindest ein Testsystem (1).

Description

Titel : Computerimplementiertes Verfahren zum Gruppieren von Fehlerberichten in zumindest zwei Fehlerbericht-Gruppen ähnlicher Fehlersituation

Beschreibung

Die Erfindung betri f ft ein computerimplementiertes Verfahren zum Gruppieren von Fehlerberichten in zumindest zwei Fehlerbericht-Gruppen ähnlicher Fehlersituation sowie ein damit assoziiertes Computerprogrammprodukt , Gruppierungssystem und System mit dem Gruppierungssystem und zumindest einem Testsystem .

Ein Testsystem ist ein System, das einen Fehlerbericht ausgibt . Das Testsystem kann durch ein Computerprogramm repräsentiert sein, das von einem entsprechenden Prozessor, insbesondere auf einem Produktivsystem, einem

Entwicklungssystem, einem Sicherungssystem oder einem Qualitätssicherungssystem, ausgeführt werden kann . Für zahlreiche technische Produkte ist der Einsatz von Computerprogrammen bzw . Software unerlässlich, da sie ein wesentlicher Bestandteil dieser Produkte geworden ist . Dies ist beispielsweise der Fall bei in der Industrie eingesetzten Maschinen, insbesondere Werkzeugmaschinen, die ein oder mehrere Computerprogramme benötigen, um ihre Funktionen aus zuführen . Beispielsweise kann es sich dabei um Werkzeugmaschinen handeln, die Lasertechnik für Metallbearbeitungsaufgaben und die Chip-Lithografie einsetzen, bei denen häufig besonders komplexe Softwareanwendungen Verwendung finden .

Die technischen Produkte , einschließlich ihrer Computerprogramme , können fehlerhaft sein und entsprechende Fehlermeldungen ausgeben . Auch können Fehlermeldungen Fehlalarme sein, d . h . ohne Produkt fehler bzw . ohne einen echten Fehler beim Einsatz des Produkts , z . B . der Werkzeugmaschine , oder in dem Computerprogramm . Um die Produkte möglichst fehlerfrei bereitzustellen, werden die Produkte vorab getestet .

Testen ist das Verfahren, mit dem Produkt zu interagieren, um zu prüfen, ob es die Anforderungen erfüllt und frei von Produkt fehlern ist , die seine Funktionstüchtigkeit beeinträchtigen könnten . Das Ziel ist die Entscheidung, ob das Produkt freigegeben werden kann oder nicht . Bei kleinen Produkten kann das Testen erfolgreich manuell durchgeführt werden, doch mit zunehmender Größe und Komplexität des Produkts , insbesondere bei den vorgenannten Werkzeugmaschinen, wächst die Größe vom Systemzustandsraum exponentiell und wird diese Aufgabe nicht mehr manuell durchführbar . In diesem Fall ist es zweckmäßig, ein automatisches Testen des Produkts mittels eines computerbasierten Testsystems durchzuführen .

Beispielsweise sind automatisierte Tests selbst fehleranfällig, und j eder fehlgeschlagene Test erfordert eine manuelle Prüfung, um sein Ergebnis zu veri fi zieren, d . h . seine Ursache entweder als Produkt fehler oder als Fehlalarm zu klassi fi zieren . Fehlalarme bzw . falsche Alarme sind dabei auf Test- und Infrastrukturprobleme und nicht auf Fehler am Produkt selbst zurückzuführen . Entwickler müssen die Fehlerberichte , die z . B . aus Fehlermeldungen, Stack Traces und Protokolldateien bestehen, untersuchen, um diese Veri fi zierung durchzuführen .

Aus dem Stand der Technik ist es bekannt , Testverfahren zu automatisieren . In US 2021 / 0287109 Al wird hierzu ein computerimplementiertes Verfahren zur Analyse von Testfehlern mittels eines KI-Models beschrieben . Bei dem Verfahren wird zunächst ein Clustering durchgeführt , bei dem Testfehler in einzelne Fehlercluster geclustert werden . Das Clustering- Ergebnis wird dann für das Training des KI-Models heranzogen, um automatisiert die Ursache neuer, unklassi fi zierter Fehler identi fi zieren zu können .

Die aus dem Stand der Technik bekannten Verfahren können zwar für die Fehlersuche bzw . -Identi fi zierung verwendet werden, eignen sich aber nicht in dem Maße zur Vermeidung von Produkt fehlern, wie es wünschenswert wäre . Es hat sich beispielsweise herausgestellt , dass bei den bekannten Testverfahren viele Fehlermeldungen, ob Fehlalarme oder Produkt fehler , nicht analysiert werden . So können Fehler in dem Produkt verbleiben, die erst später beim Kunden auftreten und dort zu Komplikationen führen . Solche Fehler führen häufig dazu, dass sie sehr aufwändig durch eine erneute Testphase gelöst werden müssen . Wenn beispielsweise eine Werkzeugmaschine mit diversen Produkt fehlern nach einer vermeintlich erfolgreichen Testphase an einen Kunden ausgeliefert wird, können Produktfehler-bedingte Stillstandzeiten beim Kunden für große Produktionsaus fälle sorgen .

Der Erfindung liegt folglich die Aufgabe zugrunde , die Zuverlässigkeit der Produkte zu erhöhen, insbesondere ein besonders robustes computerimplementiertes Verfahren zum Gruppieren von Fehlerberichten vorzuschlagen, um daraus die Zuverlässigkeit der Produkte zu erhöhen .

Die Aufgabe wird durch ein computerimplementiertes Verfahren zum Gruppieren von Fehlerberichten in zumindest zwei Fehlerbericht-Gruppen unterschiedlicher Fehlersituationen gelöst . Das Verfahren weist zumindest die folgenden Schritte auf i

- Einlesen von Fehlerberichten mit j eweils zumindest zwei Fehlerberichtanhängen unterschiedlicher Domänen,

- Bestimmen j eweils eines Ähnlichkeitsoperators für j ede der unterschiedlichen Domänen zur Ermittlung einer Ähnlichkeit zwischen Fehlerberichtanhängen gleicher Domäne ,

- Ermitteln von Ähnlichkeitswerten der Fehlerberichtanhänge gleicher Domäne durch einen Vergleich zwischen einzelnen Fehlerberichtanhängen gleicher Domäne unterschiedlicher Fehlerberichte mittels des j eweils zuvor bestimmten Ähnlichkeitsoperators , und Gruppieren der Fehlerberichte in die zumindest zwei

Fehlerbericht-Gruppen ähnlicher Fehlersituation anhand der zuvor ermittelten Ähnlichkeitswerte .

Das erfindungsgemäße Verfahren beruht folglich darauf , dass die Fehlerberichte in ihren einzelnen Bestandteilen, d . h . mit ihren Fehlerberichtanhängen, separat verarbeitet werden . Um dies zu ermöglichen, werden unterschiedliche Ähnlichkeitsoperatoren für die unterschiedlichen Domänen, in denen die Fehlerberichtanhänge vorliegen, bestimmt und verwendet . So kann das erfindungsgemäße Verfahren auf die maximale Anzahl von fehlerrelevanten Informationen der Fehlerberichte zurückgrei fen, um durch den Ähnlichkeitsvergleich und die Gruppierung eine Zuordnung der Fehlerberichte zu verschiedenen Fehlersituationen zu ermöglichen . Schließlich wurde erkannt , dass ein Vergleich der Fehlerberichte im Gesamten nicht die gewünscht hohe Robustheit liefert , weil die Daten nicht so hinreichend genau miteinander verglichen werden können, wie es erfindungsgemäß mit den unterschiedlichen Ähnlichkeitsoperatoren der Fall ist . Ferner können bei einem Einzelvergleich von Fehlerberichtanhängen gleichen Formats aus den Fehlerberichten wichtige Fehlerinformationen unbeachtet bleiben, sodass eine robuste Gruppierung nicht möglich ist . Durch die Verwendung der Ähnlichkeitswerte von Fehlerberichtanhängen zum Gruppieren können möglichst alle Fehlerinformationen für ein robustes Fehlerbericht-Gruppieren verwendet werden .

Die unterschiedlichen Fehlerberichtanhänge können anhand ihrer Domäne voneinander unterschieden werden . Die Domäne definiert dabei insbesondere den Kontext und/oder das Format der enthaltenen Informationen . So können beispielsweise gleiche Formate , insbesondere Datei formate , und dennoch unterschiedliche Domänen vorliegen . Beispielsweise können bei einem Bildformat in Kontextsicht unterschiedliche Bilder als Fehlerberichtanhänge vorliegen, so bspw . einerseits eine Bildschirmaufnahme eines Testablaufs und andererseits ein Foto eines bearbeiteten Werkstücks . Wegen dem unterschiedlichen Kontext liegen hier unterschiedliche Domänen vor, auch wenn das Datei format dasselbe sein kann . Andererseits können bei gleichem Kontext , beispielsweise einerseits einer Bildschirmaufnahme eines Testablaufs zu einem Fehlerausgabezeitpunkt und andererseits ein Fehlertext zum Fehlerausgabezeitpunkt , unterschiedliche Formate , insbesondere Datei formate , vorliegen, sodass ebenfalls unterschiedliche Domänen vorliegen können . Um eine Ähnlichkeit von Fehlerberichtanhängen unterschiedlichen Formats bei gleichem Kontext zu bestimmen, ist es möglich die Fehlerberichtanhänge in ein gemeinsames Format zu konvertieren . Dazu kann ein Fehlerberichtanhang in das Format des anderen Fehlerberichtanhang konvertiert werden oder beide Fehlerberichtanhänge werden in ein drittes Format konvertiert . Bspw . können unterschiedliche Bildformate oder Videoformate angeglichen werden .

Die Fehlerberichte können dabei j eweils von einem Testsystem ausgegeben werden, wobei auch mehrere Testsysteme Anwendung finden können . Fehlerberichte können einen Fehler ausweisen, welche insbesondere durch eine Fehlermeldung ausgedrückt werden können . Die getesteten Produkte sind insbesondere Maschinen, beispielsweise Werkzeugmaschinen, oder Computerprogramme oder Softwareanwendungen, die auf den Maschinen ausgeführt werden . Ein entsprechender Testablauf bzw . ein Systemtest des Testsystems kann insoweit von einem Computer, insbesondere Prozessor, der j eweiligen Maschine ausgeführt werden . Das Testsystem kann durch ein Computerprogramm repräsentiert sein, das von einem entsprechenden Prozessor, insbesondere auf dem Produkt , ausgeführt werden kann . Das Testsystem ermöglicht so beispielsweise einen Test der Funktions fähigkeit des Produkts in seiner Funktions fähigkeit bzw . hinsichtlich möglicher Fehler zumindest in Bezug auf eines oder mehrere Computerprogramme , die auf dem Produkt aus führbar sind . Das Testsystem ermöglicht beispielsweise auch einen Service bzw . eine Serviceüberprüfung des Produkts . Der Test kann insbesondere als UI (User Interface , Benutzeroberfläche ) Test , insbesondere GUI ( Graphical User Interface , graphische Benutzeroberfläche ) Test , ausgestaltet sein, der auf einem entsprechenden Systembildschirm ablaufen kann . Das Ergebnis eines solchen beispielhaften Testablaufs ist der Fehlerbericht mit seinen Fehlerberichtanhängen unterschiedlicher Domäne , die als Einzelbestandteile des Fehlerberichts verstanden werden können . Insbesondere können die Fehlerberichtanhänge separate Dateien unterschiedlicher Domäne , insbesondere unterschiedlichen Datei formats , sein . Das erfindungsgemäße Verfahren kann selbstverständlich auch den Schritt eines Testens bzw . Testablaufs selbst aufweisen, insbesondere in der zuvor beschriebenen Gestalt .

Der Ähnlichkeitswert ist ein Wert bezüglich einer Ähnlichkeit zwischen zwei Fehlerberichtanhängen, der insbesondere dem menschlichen intuitiven Konzept der Ähnlichkeit entsprechen kann . Dabei handelt es sich insbesondere um einen reellen Wert , der beispielsweise auf ein Intervall wie das Einheitsintervall , d . h . [ 0 , 1 ] , oder einen booleschen Wert beschränkt sein kann . Der Ähnlichkeitswert kann insbesondere symmetrisch sein, um sicherzustellen, dass die Ähnlichkeit zwischen zwei Fehlerberichtanhängen immer gleich ist , unabhängig von der Reihenfolge , in der sie mithil fe des Ähnlichkeitsoperators ermittelt werden . Bei einem Datensatz von Fehlerberichtanhängen gleichen Formats können die Ähnlichkeiten zwischen allen Fehlerberichtanhängen mit Hil fe des für das Format bestimmten Ähnlichkeitsoperators , der insbesondere eine oder mehrere Ähnlichkeits funktionen aufweisen oder daraus bestehen kann, berechnet und beispielsweise in einer Ähnlichkeitsmatrix dargestellt werden . Für unterschiedlichen Formate werden insbesondere j eweils unterschiedliche Ähnlichkeitsoperatoren bestimmt und verwendet , um möglichst exakte Ähnlichkeitsergebnisse zu liefern und so ein robustes Gruppieren der Fehlerberichte zu ermöglichen . Beispiele von möglichen Ähnlichkeitsoperatoren werden später mit Bezug auf Beispiele von möglichen Domänen näher erläutert .

Wenn die Ähnlichkeitswerte der Fehlerberichtanhänge ermittelt worden sind, kann für die einzelnen Fehlerberichtanhänge ausgesagt werden, welchen Fehlerberichtanhängen von Fehlerberichten, mit denen sie verglichen worden sind, sie am ehesten gleichen oder ähneln, um eine Zuordnung oder Zusammenfassung von Fehlerberichtanhängen gleicher oder ähnlicher Fehlersituation zu ermöglichen . Als Fehlersituation wird dabei zumindest ein Fehler oder eine Zusammenfassung mehrerer Fehler verstanden, die einander gleichen oder ähneln . Dies bezieht sich insbesondere auf die Fehlerursache , beispielsweise durch eine fehlerhafte Programmierung in einem bestimmten Teil des durch das Testsystem ausgeführten Computerprogramms , eine bestimmte Kategorie von Hardwarefehlern, usw . Um nun die Fehlerberichte gruppieren oder, mit anderen Worten, clustern zu können, werden die j eweils ermittelten Ähnlichkeitswerte herangezogen, insbesondere durch Vergleich der Ähnlichkeitswerte miteinander . Hier sind verschiedene Operationen zur Gruppierung möglich .

Beispielsweise ist es möglich, dass die Ähnlichkeitswerte mit einer Gruppierungslogik abgeglichen werden, um die Fehlerberichte in die zumindest zwei Fehlerbericht-Gruppen zu gruppieren . So können beispielsweise für den Vergleich von j e zwei Fehlerberichten die Ähnlichkeitswerte der Fehlerberichtanhänge gleicher Domäne mit einzelnen Gruppierungsgrenzwerten der Gruppierungslogik und so für j eden Ähnlichkeitswert anhand des j eweils definierten Gruppierungsgrenzwert bestimmt werden, ob eine hinreichende Ähnlichkeit vorliegt , um die Fehlerberichtanhänge derselben Fehlersituation zuzuordnen . Alternativ oder zusätzlich ist aber auch eine Kombination der einzelnen Ähnlichkeitswerte zu einem Gesamtähnlichkeitswert der Gruppierungslogik mit anschließendem Abgleich gegenüber einem Gesamtgruppierungsgrenzwert möglich . Nur wenn der Gesamtgruppierungsgrenzwert von dem Gesamtähnlichkeitswert erfüllt wird, werden die beiden Fehlerberichte in dieselbe Fehlerbericht-Gruppe gruppiert . Die Gruppierungslogik kann aber auch als ein Maximalwert bzw . eine Maximal forderung beispielsweise derart beschaf fen sein, dass das Maximum von einzelnen Ähnlichkeitswerten oder Gesamtähnlichkeitswerten eines Fehlerberichts mit seinen verglichenen Fehlerberichten zur Eingruppierung genutzt wird . So kann bei Bedarf sichergestellt werden, dass j eder Fehlerbericht nur in eine Fehlerbericht-Gruppe eingruppiert wird und die Sensitivität eines gewählten Gruppierungsgrenzwerts nicht zu klein oder zu groß gewählt wird . Insbesondere kann hier ein künstliche Intelligenz (KI ) -Modell , ganz besonders auf maschinellem Lernen beruhend, eingesetzt werden, um die Gruppierung kontinuierlich zu verbessern . Das Kl-Modell kann durch das maschinelle Lernen eine immer weiter optimierte Gruppierungslogik, beispielsweise Gruppierungsgrenzwerte , insbesondere unterschiedliche Gruppierungsgrenzwerte für verschiedene Fehlersituationen, wählen .

Es kann vorgesehen sein, dass beim Ermitteln der Ähnlichkeitswerte Fehlerberichtanhänge von bereits gruppierten Fehlerberichten mit eingelesenen, noch nicht gruppierten Fehlerberichtanhängen mittels des j eweils zuvor bestimmten Ähnlichkeitsoperators verglichen werden . So kann auf eine bereits bestehende Datenbasis an bereits gruppierten Fehlerberichten zurückgegri f fen werden, um nicht oder nicht nur die aktuell eingelesenen Fehlerberichte miteinander zu vergleichen, sondern bereits identi fi zierte Fehlerbericht- Gruppen mit bestimmten Fehlersituationen zu nutzen und zu erweitern . So können auch schnell neue Fehlersituationen identi fi ziert werden, wenn sich ein Fehlerbericht , insbesondere unter Berücksichtigung des Gruppierungsgrenzwerts , in keine bisher erstellte Fehlerbericht-Gruppe eingruppieren lässt , sodass eine neue Fehlerbericht-Gruppe geschaf fen werden kann .

Es kann ferner vorgesehen sein, dass die Fehlerberichte multimodal sind und die unterschiedlichen Domänen unterschiedliche Formate , insbesondere unterschiedliche Medienformate , sind . Entsprechend sind insbesondere nicht nur Textdateien miteinander zu vergleichen, um deren Ähnlichkeit zueinander zu ermitteln . Dies erfordert spezielle Ähnlichkeitsoperatoren für die verschiedenen Medienformate .

Als mögliche Domäne , insbesondere Format eines Fehlerberichtanhangs , kommen im Übrigen auch Metadaten des Fehlerberichtanhangs in Frage .

Insbesondere können die unterschiedlichen Medienformate aus der Gruppe umfassend Textdatei , insbesondere Fehlernachricht , Protokolldatei und/oder Stack Trace , Bilddatei , Videodatei und/oder Audiodatei sein .

Die Fehlernachricht als Unterformat der Textdatei ist insbesondere ein sehr kurzer, unveränderlicher und eindeutiger Satz , der einen Fehler begleitet . Wenn ein Fehler ausgelöst wird, wird dieser Textteil auch als Hinweis für den Entwickler über die Fehlerquelle zurückgegeben . In einigen Fällen sind diese Meldungen sehr informativ über die Fehlerursache , z . B . "Der Zugri f f ist verweigert" oder "Der Parameter ist falsch" , während es sich in anderen Fällen um eine allgemeine Aussage handelt , die durch zahlreiche Ereignisse verursacht werden kann, z . B . "Das Zeitlimit ist abgelaufen und die Operation wurde nicht abgeschlossen" . In diesem Fall ist nichts über den Vorgang bekannt , sondern nur, dass er nicht abgeschlossen wurde .

Der Textdatei kann auch das Unterformat Stack Trace zugeordnet werden, das sehr relevante Informationen zu Fehlermeldungen umfassen kann . Denn ein zum Testen verwendetes Programm besteht in der Regel aus Funktionen, die durch Aufrufe und Auf forderungen miteinander interagieren . Wenn in einer dieser Funktionen ein Fehler auftritt , löst die Lauf zeitumgebung eine Ausnahme aus . In manchen Fällen ist das Programm darauf vorbereitet , diese abzufangen und weiterzulaufen . Ausnahmen, die nicht abgefangen werden, führen j edoch zum Absturz des Programms . Der einzige Fehler und die dazugehörige Fehlermeldung reichen j edoch oft nicht aus , um die Ursache des Problems zu ermitteln . In diesem Fall erweist sich der Stack Trace als nützlich, da er mehr Details über die Quelle des nicht abgefangenen Fehlers liefert . Er sammelt den Stack der Funktionen, die bis zu dem Punkt aufgerufen wurden, an dem der Fehler ausgelöst wurde . Dies ermöglicht es , das Problem in dem Code zu identi fi zieren . Stack Traces können so aufschlussreich über einen Fehler sein .

Ein weiteres bedeutendes Unterformat der Textdatei ist die sog . Protokolldatei oder auch Logdatei . Während eines Testlaufs findet eine große Anzahl von Ereignissen und Vorgängen statt . Obwohl die meisten von ihnen im System routinemäßig ablaufen, können einige dazu verwendet werden, die Ursache für ein bestimmtes Problem aus findig zu machen . Protokolldateien sind maschinell erzeugte Dateien, in denen alle diese Vorgänge auf gezeichnet werden . Sie können auch als Container mit umfangreichen und viel fältigen Informationen bezeichnet werden, die für die Fehlersuche wertvoll sein können . Obwohl es keine Standards für ihr Format und ihre Größe gibt , sind sie typischerweise in Einträgen strukturiert , wobei j eder Eintrag eine oder mehrere Zeilen umfasst und ein bestimmtes Ereignis zusammen mit einem Zeitstempel , der den genauen Zeitpunkt des Ereignisses angibt , und, falls erforderlich, sogar mit Identi fikationsnummern und Pfaden berichtet . Die Länge der Protokolldateien im Datensatz ist sehr unterschiedlich . Die Protokolldatei-Länge hängt direkt von der Art des Tests ab . Einige Tests sind sehr kurz und starten und beenden den Testablauf einfach, während andere länger sind und mehrere aufeinanderfolgende Untertests durchführen, um die Ausdauer des Produkts zu testen . Unter der Viel zahl der existierenden Protokolldateien werden bevorzugt vor allem Frontend- und Backendprotokolldateien analysiert , da sie sich vorliegend für Maschinen, insbesondere Werkzeugmaschinen, als besonders aussagekräftig herausgestellt haben . Diese Dateien ähneln sich im Format , unterscheiden sich aber in den enthaltenen Informationen . Das Frontend-Protokoll ist für die Erfassung der Ereignisse auf der Benutzeroberfläche der getesteten Maschine bzw . seines Prozessors zuständig, während das Backend-Protokoll die Informationen über den Prozess im Backend desselben Prozessors sammelt . Es versteht sich, dass auf der Maschine eine Viel zahl an Prozessen ausgeführt werden können und entsprechend eine Viel zahl an Protokolldateien vom Testsystem ausgegeben werden können .

Dabei kann die Bilddatei eine Bildschirmaufnahme eines Testablaufs zum Fehlerbericht zu einem Fehlerausgabezeitpunkt sein . Die Videodatei kann eine Bildschirmvideoaufnahme des Testablaufs zum Fehlerbericht sein . Insbesondere bei der Durchführung von GUI-Tests kann dabei der Systembildschirm auf gezeichnet werden, um ein Video zu erstellen, das in einem entsprechenden Datei format , beispielsweise als MP4- , AVI-Datei oder dergleichen gespeichert werden kann . Ein derartiges Video kann entscheidend für die Erkennung des problematischen Ereignisses sein, das zum Fehlschlag des Tests geführt hat . Um eine begrenzt zur Verfügung stehende Datenspeichergröße zu schonen kann es aber auch genügen, wenn nur eine oder mehrere Bildschirmaufnahmen zum und/oder kurz vor und/oder nach dem Fehlerausgabezeitpunkt als Fehlerberichtanhänge erstellt und im Verfahren berücksichtigt bzw . eingelesen werden . Auch können Bildschirmaufnahme und Bildschirmvideoaufnahme gemeinsam als Fehlerberichtanhänge berücksichtigt werden, um einen möglichst großen Datensatz für die Gruppierung auswerten zu können .

Auch kann schließlich vorgesehen sein, dass die Formate unterschiedliche Textformate von Textdateien umfassen . Die Textformate können sich sowohl auf die zuvor erwähnten unterschiedlichen Unterformate , die durch den Typ des Unterformats vorgegeben sind, beziehen, also etwa Fehlermeldung, Protokolldatei und/oder Stack Trace . Sie können sich aber alternativ oder zusätzlich auch auf unterschiedliche Formate innerhalb von Formaten bzw . Unterf ormaten desselben Typs beziehen, beispielsweise unterschiedliche Formatierung von Frontend-Protokolldatei und Backend-Protokolldatei .

Für die unterschiedlichen Formate , insbesondere Medienformate , sind unterschiedliche Ähnlichkeitsoperatoren bestimmbar . So kann beispielsweise für Stack Traces eine Levenshtein-Edit- Distanz bestimmt werden . Dieser Ansatz beruht darauf , dass es zwar genaue mathematische Definition der Ähnlichkeit gibt , sie in gewissem Sinne j edoch der Kehrwert eines Abstandsmaßes ist . Dadurch ist es möglich, eine Ähnlichkeit aus einem Abstandsmaß abzuleiten . Da Abstandsmaße einige wohldefinierte Eigenschaften haben, kann ein Abstand anstelle eines Ähnlichkeitsmaßes berechnet werden . Für Protokolldateien wiederum kann beispielsweise die Berechnung der Jaccard- Ähnlichkeit als Ähnlichkeitsoperator verwendet werden . Diese Metrik quanti fi ziert die Ähnlichkeit zwischen zwei Stichprobenmengen . Sie ist gleich dem Verhältnis zwischen der Anzahl der Elemente in der Schnittmenge und der Vereinigung dieser Mengen . Das heißt , j e mehr Elemente sie gemeinsam haben, desto größer ist die Ähnlichkeit . Für Videodateien und andere Medienformate wiederum kann beispielsweise eine Kosinus-Ähnlichkeit ermittelt werden . Bei zwei Gegenständen A und B, die j eweils als Vektor dargestellt werden, ist der Kosinus der Abweichung zwischen diesen beiden Vektoren die Kosinus-Ähnlichkeit oder, mit anderen Worten, Ochiai- oder Carbo-Ähnlichkeit .

Möglich ist es aber auch, dass mehrere Ähnlichkeitsoperatoren für gleiche Domänen vorgesehen oder bestimmbar sind, wobei j eweils einer dieser mehreren Ähnlichkeitsoperatoren für die j eweilige Domäne ausgesucht werden kann oder auch ein Vergleich mit unterschiedlichen Ähnlichkeitsoperatoren für dieselbe Domäne durchgeführt werden kann .

Das Ergebnis der Fehlerbericht-Gruppen kann viel fältig verwendet werden, wobei diese Verwendung ein weiterer Bestandteil des Verfahrens sein kann . Beispielsweise kann das Ergebnis an das oder die den Testablauf aus führenden Testsysteme zur Verbesserung des Testens , insbesondere in Gestalt eines maschinellen Lernen-Algorithmus , an das oder die getesteten Produkte , beispielsweise zur Ausgabe oder Anzeige der konkreten Fehlersituation auf einem entsprechenden Bildschirm oder einem Bedienelement des Produkts , an einen Service-Techniker für die Behebung von Fehlersituationen, usw . übermittelt werden und von dieser oder diesem verwendet werden .

Auch kann vorgesehen sein, dass für die Fehlerbericht-Gruppen j eweils zumindest eine gruppenbasierte Metrik ermittelt wird, insbesondere ein Verhältnis einer Anzahl von Protokolldateien einer der Fehlersituationen zu einer Gesamtanzahl von Protokolldateien . Mit dieser Metrik kann sehr einfach die häufigste Fehlersituation bestimmt werden . Bevorzugt wird diese Metrik auf die Protokolldateien eines vorbestimmten Zeitraums angewendet , bspw . die Protokolldateien der letzten Woche . Eine Fehlersituation kann sowohl einen Produkt fehler als auch einen Fehlalarm beschreiben . Mit der Metrik können daher die am häufigsten auftretenden Produkt fehler und Fehlalarme bestimmt werden . Dadurch kann die Arbeit der Entwickler priorisiert werden .

Auch kann das Verfahren ferner den Schritt eines Zusammenfassens der Fehlerberichte zumindest einer der Fehlerbericht-Gruppen zu einem Gruppenfehlerbericht umfassen . So liegt nur noch ein, insbesondere hinsichtlich seiner Fehlerinformationen aggregierter, Gruppenfehlerbericht vor . Mithil fe des aggregierten Gruppenfehlerberichts kann eine schnellere Fehlerlösung erfolgen, da dieser nur die wichtigsten oder notwendigen Fehlerinformationen und keine zur Fehleruntersuchung unnötigen Daten enthält .

Zudem kann das Verfahren ferner den Schritt eines Bestimmens einer Fehlerkritikalität der Fehlerbericht-Gruppen und insbesondere eine Priorisierung der Fehlerbericht-Gruppen nach der bestimmten Fehlerkritikalität umfassen . Mit anderen Worten wird eine Fehlerschwere der Fehlerbericht-Gruppen bestimmt . Die Fehlerkritikalität kann beispielsweise auf Basis eines oder mehrerer der zuvor erwähnten Metriken bestimmt werden . Dadurch kann eine Priorisierung bei der Fehlerbehebung erfolgen, um das Produkt , beispielsweise die Werkzeugmaschine , möglichst schnell wieder funktions fähig bzw . fehlerfrei zu machen . Schließlich kann auch vorgesehen sein, dass beim Bestimmen j eweils eines Ähnlichkeitsoperators , beim Ermitteln der Ähnlichkeitswerte und/oder beim Gruppieren der Fehlerberichte maschinelles Lernen eingesetzt wird . Wie bereits zuvor erwähnt kann ein entsprechendes Kl-Modell so die Robustheit des Verfahrens erhöhen, beispielsweise durch bessere Bestimmung von Ähnlichkeitsoperatoren und Gruppierungsgrenzwerten .

Die eingangs erwähnte Aufgabe wird ferner gelöst durch ein Computerprogrammprodukt nach Anspruch 12 . Das Computerprogrammprodukt umfasst Befehle , die bei der Aus führung des Computerprogrammprodukts durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren aus zuführen .

Bei dem Computerprogrammprodukt kann es sich um ein Computerprogramm als solches oder ein computerlesbares Speichermedium handeln, auf dem das Computerprogramm bzw . seine Befehle gespeichert sind . Bei dem Speichermedium kann es sich um eine grei fbare Vorrichtung handeln, die Befehle zur Verwendung durch eine Befehlsaus führungsvorrichtung, also einen Computer, insbesondere einen Prozessor, aufbewahren und speichern kann . Bei dem computerlesbaren Speichermedium kann es sich beispielsweise um eine elektronische Speichervorrichtung, eine magnetische Speichervorrichtung, eine optische Speichervorrichtung, eine elektromagnetische Speichervorrichtung, eine Halbleiterspeichervorrichtung oder eine beliebige geeignete Kombination der vorgenannten Vorrichtungen handeln, ist aber nicht darauf beschränkt . Eine nicht erschöpfende Liste spezi fischerer Beispiele für ein computerlesbares Speichermedium umfasst Folgendes : eine tragbare Computerdiskette , eine Festplatte , ein Direktzugri f fsspeicher (RAM) , ein Festwertspeicher (ROM) , ein löschbarer programmierbarer Festwertspeicher (EPROM oder Flash-Speicher ) , ein statischer Direktzugri f fsspeicher ( SRAM) , ein tragbarer Compact-Disc-Festwertspeicher ( CD-ROM) , eine Digital Versatile Disk ( DVD) , ein Memory-Stick, eine Diskette , eine mechanisch kodierte Vorrichtung wie Lochkarten oder erhabene Strukturen in einer Rille mit darauf auf gezeichneten Befehlen sowie j ede geeignete Kombination der vorgenannten . Ein computerlesbares Speichermedium, wie es hier verwendet wird, ist nicht so zu verstehen, dass es sich um transitorische Signale an sich handelt , wie z . B . Radiowellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten ( z . B . Lichtimpulse , die durch ein Glas faserkabel laufen) , oder elektrische Signale , die durch einen Draht übertragen werden .

Die hierin beschriebenen computerlesbaren Programmanweisungen können von einem computerlesbaren Speichermedium auf die j eweiligen Rechen-/Verarbeitungsgeräte oder auf einen externen Computer oder ein externes Speichergerät über ein Netzwerk heruntergeladen werden, z . B . das Internet , ein lokales Netzwerk, ein Weitverkehrsnetzwerk und/oder ein drahtloses Netzwerk . Das Netzwerk kann Kupferübertragungskabel , optische Übertragungs fasern, drahtlose Übertragung, Router, Firewalls , Switches , Gateway-Computer und/oder Edge-Server umfassen . Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in j edem Computer/Verarbeitungsgerät empfängt computerlesbare Programmanweisungen aus dem Netzwerk und leitet die computerlesbaren Programmanweisungen zur Speicherung in einem computerlesbaren Speichermedium innerhalb des j eweiligen Computers/Verarbeitungsgeräts weiter . Bei den computerlesbaren Programmanweisungen zur Durchführung von Operationen im Rahmen der vorliegenden Erfindung kann es sich um Assembler-Befehle , ISA-Befehle ( Instruktionssatzarchitektur ) , Maschinenbefehle , maschinenabhängige Befehle , Mikrocode , Firmware-Befehle , Zustandsdaten, Konfigurationsdaten für integrierte Schaltkreise oder entweder um Quellcode oder Obj ektcode handeln, der in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben ist , einschließlich einer ob ektorientierten Programmiersprache wie Smalltalk, C++ oder ähnlichen, und prozeduralen Programmiersprachen wie der Programmiersprache „0" oder ähnlichen Programmiersprachen . Die computerlesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers , teilweise auf dem Computer des Benutzers , als eigenständiges Softwarepaket , teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden . Im letztgenannten Fall kann der entfernte Computer mit dem Computer des Benutzers über eine beliebige Art von Netzwerk verbunden sein, einschließlich eines lokalen Netzwerks ( LAN) oder eines Weitverkehrsnetzwerks (WAN) , oder die Verbindung kann zu einem externen Computer hergestellt werden ( z . B . über das Internet unter Verwendung eines Internetdienstanbieters ) . In einigen Aus führungs formen können elektronische Schaltungen, die beispielsweise programmierbare Logikschaltungen, feldprogrammierbare Gate- Arrays ( FPGA) oder programmierbare Logik-Arrays ( PLA) umfassen, die computerlesbaren Programmanweisungen aus führen, indem sie Zustandsinformationen der computerlesbaren Programmanweisungen verwenden, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen .

Die eingangs erwähnte Aufgabe wird auch gelöst durch ein Gruppierungssystem nach Anspruch 13 . Das erfindungsgemäße Gruppierungssystem umfasst einen Speicher und einen mit dem Speicher verbundenen Prozessor, wobei das erfindungsgemäße Computerprogrammprodukt auf dem Speicher gespeichert ist und der Prozessor zum Aus führen der Befehle des Computerprogrammprodukts eingerichtet ist .

Das Gruppierungssystem kann zumindest eine Schnittstelle zu zumindest einem Testsystem aufweisen, wobei das zumindest eine Testsystem zum Erzeugen von Fehlerberichten mit j eweils zumindest zwei Fehlerberichtanhängen unterschiedlicher Domäne eingerichtet ist .

Schließlich wird die eingangs erwähnte Aufgabe gelöst durch ein System nach Anspruch 15 , umfassend das erfindungsgemäße Gruppierungssystem und das zumindest eine Testsystem .

Dabei gelten Merkmale , die hierin in Bezug auf das erfindungsgemäße Verfahren beschrieben sind, gleichsam in Bezug auf das erfindungsgemäße Computerprogrammprodukt , das Gruppierungssystem und das System sowie j eweils umgekehrt .

Weitere Einzelheiten und vorteilhafte Ausgestaltungen der Erfindung sind der nachfolgenden Beschreibung zu entnehmen, anhand derer Aus führungsbeispiele der Erfindung näher beschrieben und erläutert werden .

Es zeigen : Figur 1 eine schematische Ansicht eines Verfahrens gemäß einem Aus führungsbeispiel der Erfindung;

Figur 2 eine schematische Ansicht eines Teil des

Verfahrens aus Fig . 1 gemäß einem ersten Aus führungsbeispiel der Erfindung;

Figur 3 eine schematische Ansicht eines Teil des

Verfahrens aus Fig . 1 gemäß einem zweiten Aus führungsbeispiel der Erfindung;

Figur 4 eine schematische Ansicht eines Teil des

Verfahrens aus Fig . 1 gemäß einem dritten Aus führungsbeispiel der Erfindung; und

Figur 5 eine schematische Ansicht eines Systems gemäß einem Aus führungsbeispiel der Erfindung, umfassend ein Gruppierungssystem gemäß einem Aus führungsbeispiel der Erfindung und mehrere Testsysteme .

In der nachfolgenden Beschreibung sowie in den Figuren sind für identische oder einander entsprechende Merkmale j eweils dieselben Bezugs zeichen verwendet .

Figur 1 zeigt schematisch ein computerimplementiertes Verfahren 100 zum Gruppieren von Fehlerberichten 10 in zumindest zwei Fehlerbericht-Gruppen 30 unterschiedlicher Fehlersituation 31 , 32 , 33 , 34 , d . h . dass die Fehlerbericht- Gruppen 30 j eweils voneinander unterschiedliche Fehlersituationen 31 , 32 , 33 , 34 bezüglich ihrer darin gruppierten Fehlerberichte 10 aufweisen .

Ein dem Verfahren 100 zurechenbarer oder davon separater Schritt 102 ist dabei das Testen selbst bzw . der Testablauf oder Systemtest . Dazu werden Produkte mittels Testsystemen 1 getestet . Rein beispielhaft sind hier zwei Testsysteme 1 getestet , wobei natürlich deutlich mehr als zwei Testsysteme 1 oder auch nur ein einzelnes Testsystem 1 vorhanden sein kann . Jedes der Testsysteme 1 kann auf einem oder mehreren Produkten (nicht gezeigt ) , z . B . einer Werkzeugmaschine mit dem oder den darauf befindlichen Computerprogrammen bzw .

Softwareanwendungen oder, alternativ, dem Computerprogramm als solches , angewendet werden . Das Testen im Schritt 102 kann ansonsten nach bekannten Prinzipien erfolgen, insbesondere als ein automatisiertes Testen des j eweiligen Testsystems 1 . Beispielsweise können GUI-Tests eingesetzt werden . Ergebnis des Systemtests ist j eweils ein Fehlerbericht 10 . Der Fehlerbericht 10 kann Fehler aufweisen .

In dem darauf folgenden Schritt 104 werden die im Testablauf des Schritts 102 erzeugten Fehlerberichte 10 eingelesen . Insbesondere können dabei nur die Fehlerberichte eingelesen werden, welche auch Fehler aufweisen, da nur diese eine Fehlermeldung enthalten und für die Fehleranalyse von Relevanz sind, um die Robustheit der Produkte zu erhöhen .

Die Fehlerberichte 10 umfassen j eweils zwei oder mehr Fehlerberichtanhänge 11 , wie in Fig . 1 schematisch gezeigt ist . Diese Fehlerberichtanhänge 11 können unterschiedlicher Domäne 12 , 13 , 14 , insbesondere unterschiedlichen Formats , sein, wie in Fig . 1 beispielhaft für drei unterschiedliche Formate 12 , 13 , 14 illustriert ist , wobei natürlich mehr unterschiedliche Formate 12 , 13 , 14 vorliegen und unterschieden werden können .

Beispielhaft bezieht sich die nachfolgende Beschreibung auf unterschiedliche Formate 12 , 13 , 14 als besondere Ausgestaltung der unterschiedlichen Domänen 12 , 13 , 14 . Grundsätzlich j edoch können unterschiedliche Domänen aber nicht nur unterschiedliche Formate aufweisen, sie können auch gleichen Formats sein, sich j edoch auf einen anderen Kontext beziehen bzw . unterschiedliche Kontextinf ormationen enthalten . Ein Beispiel für ein gleiches Datei format bei unterschiedlichen Kontextinf ormationen und damit unterschiedlicher Domäne sind beispielsweise eine Videodatei als Auf zeichnung eines Bildschirms bei der Aus führung eines Tests und eine Videodatei als Auf zeichnung eines Laserschneidprozesses eines Werkstücks .

Die unterschiedlichen Formate 12 , 13 , 14 können beispielsweise unterschiedliche Textformate von Fehlerberichtanhängen 11 in Form von Textdateien sein, beispielsweise unterschiedlich formatierte Protokolldateien, Stack Traces , Fehlermeldungen usw . Es kann sich bei den Formaten 12 , 13 , 14 insbesondere um unterschiedliche Medienformate handeln, wie etwa Textdatei , Bilddatei , Videodatei und/oder Audiodatei . Beispielsweise kann es sich bei den Bilddateien um Bildschirmaufnahmen bzw . Screenshots des Testablaufs , insbesondere bei einem GUI-Test , zum Fehlerzeitpunkt handeln . Beispielsweise kann es sich bei den Videodateien um Videoaufnahmen des Systembildschirms des den Test aus führenden Testsystems 1 bzw . dessen Computers , insbesondere bei einem GUI-Test , handeln, wobei das Video zumindest einen Zeitraum beim und/oder kurz vor und/oder kurz nach dem Fehlerzeitpunkt umfasst. Insoweit können die Fehlerberichte 10 bzw. ihre Fehlerberichtanhänge 11 als multimodal bezeichnet werden.

Im Schritt 106 des Verfahrens 100 wird für jedes der verschiedenen Formate 12, 13, 14 ein zugehöriger Ähnlichkeitsoperator 20, 21, 22 bestimmt. Beispielhafte Ähnlichkeitsoperatoren 20, 21, 22 können beispielsweise spezialisierte Edit Distances für Stack Traces, Jaccard- Ähnlichkeiten von Textinhalte bzw. Textdateien und Kosinus- Ähnlichkeiten für andere Inhalte, insbesondere von Bild- und Videodateien, sein. Der Ähnlichkeitsoperator 20, 21, 22 ist derart bestimmt, dass er der Ermittlung von Fehlerberichtanhängen 11 mit ähnlichen Fehlersituationen dient. Mit anderen Worten kann mittels des Ähnlichkeitsoperators 20, 21, 22 festgestellt werden, wie ähnlich zwei Fehlerberichtanhänge 11 zueinander sind (durch Berechnen eines Ähnlichkeitswerts 15) . Dies wird später beispielhaft und anschaulich mit Bezug auf die Figuren 2 und 3 erläutert .

Im Schritt 108 des Verfahrens werden nun durch einen Vergleich zwischen Fehlerberichtanhängen 11 jeweils gleichen Formats 12, 13, 14 und mittels des dem jeweiligen Format 12, 13, 14 zugehörigen Ähnlichkeitsoperators 20, 21, 22 Ähnlichkeitswerte 15 zwischen den Fehlerberichtanhängen 11 ermittelt. Die jeweiligen Ähnlichkeitswerte 15 eines Fehlerberichtanhangs 11 geben für den spezifischen Fehlerberichtanhang 11 eines Formats 12, 13, 14 jeweils die Ähnlichkeit gegenüber verschiedenen anderen Fehlerberichtanhängen 11 desselben Formats 12, 13, 14 an. Insbesondere können so nicht gezeigte Ähnlichkeitsmatrizen erstellt werden. Wie die Fig . 2 , 3 und 4 zeigen werden die eingelesenen Fehlerberichtanhänge 11 dabei insbesondere mit zuvor eingelesenen bzw . gespeicherten Fehlerberichtanhängen 11 gleichen Formats 12 , 13 , 14 verglichen . Diese gespeicherten Fehlerberichtanhänge 11 können insbesondere von zuvor gruppierten Fehlerbericht-Gruppen 30 stammen, sodass j edem dieser gespeicherten Fehlerberichtanhänge 11 bereits anhand der Gruppierung in die j eweilige Fehlerbericht-Gruppe 30 eine der verschiedenen, rein beispielhaft in Fig . 1 gezeigten vier Fehlersituationen 31 , 32 , 33 , 34 zugeordnet worden ist .

Nach dem Schritt 108 ist nunmehr die Information vorhanden, welchem Fehlerberichtanhang 11 eines bereits gruppierten Fehlerberichts 10 einer bestimmten Fehlersituation 31 , 32 , 33 , 34 sich ein j eweiliger Fehlerberichtanhang 11 eines bestimmten Formats 12 , 13 , 14 des eingelesenen Fehlerberichts 10 zuordnen lässt .

Allerdings werden für die Gruppierung nicht die Fehlerberichtanhänge 11 separat betrachtet , sondern im Schritt 110 des Verfahrens 100 wird auf Basis der Ähnlichkeitswerte 15 der Fehlerberichtanhänge 11 j edes Fehlerberichts 10 eine Gruppierung der Fehlerberichte 10 insgesamt vorgenommen . So lässt sich in dem Schritt 110 der gesamte Fehlerbericht 10 einer bestimmten Fehlersituation 31 , 32 , 33 , 34 zuordnen .

Gleichzeitig konnten vorteilhafterweise ein besonders präziser Vergleich der einzelnen Fehlerberichtanhänge 11 gleichen Formats 12 , 13 , 14 vorgenommen werden . Dadurch, dass zudem Fehlerberichtanhänge 11 verschiedener Formate 12 , 13 , 14 berücksichtigt und durch die j eweiligen Ähnlichkeitsoperatoren 20 , 21 , 22 miteinander verglichen werden, ist sichergestellt , dass keine Informationen bezüglich Fehlermeldungen aus den

Fehlerberichten 10 unberücksichtigt bleiben . Denn es kann vorkommen, dass in einem Fehlerberichtanhang 11 eines bestimmten Formats 12 , 13 , 14 keine Fehlermeldung oder Information diesbezüglich enthalten ist , während in einem Fehlerberichtanhang 11 eines anderen Formats 12 , 13 , 14 desselben Fehlerberichts 10 hierzu eine Information enthalten ist . So kann die Robustheit des Verfahrens 100 und in seiner Folge des j eweiligen Produkts signi fikant erhöht werden .

Im Schritt 110 erfolgt nun die Gruppierung der Fehlerberichte 10 in die einzelnen Fehlerbericht-Gruppen 30 mit den unterschiedlichen Fehlersituationen 31 , 32 , 33 , 34 , wobei j eweils hinsichtlich der Fehlersituation 31 , 32 , 33 , 34 ähnliche Fehlerberichte 10 in die j eweilige Fehlerbericht- Gruppe 30 gruppiert werden . Diese Gruppierung erfolgt anhand der zuvor ermittelten Ähnlichkeitswerte 15 der eingelesenen Fehlerberichtanhänge 11 j edes Fehlerberichts 10 .

Das Ergebnis der Fehlerbericht-Gruppen 30 kann nun viel fältig verwendet werden, wobei in weiterer Folge des Verfahrens 100 beispielhaft die optionalen Schritte 112 , 114 und 116 gezeigt sind, um die Verwendungsmöglichkeiten zu erhöhen .

Beispielsweise kann das Ergebnis an das oder die Testsysteme 1 zur Verbesserung des Testens , insbesondere in Gestalt eines maschinellen Lernen-Algorithmus , an das oder die getesteten Produkte , beispielsweise zur Ausgabe oder Anzeige der konkreten Fehlersituation auf einem entsprechenden Bildschirm oder einem Bedienelement des Produkts , an einen Service- Techniker für die Behebung von Produkt fehlem, usw . übermittelt werden und von dieser oder diesem verwendet werden .

Für den Schritt 112 ist beispielsweise vorgesehen, dass für die Fehlerbericht-Gruppen 30 unterschiedlicher Fehlersituation 31 , 32 , 33 , 34 j eweils zumindest eine gruppenbasierte Metrik ermittelt wird, insbesondere ein Verhältnis einer Anzahl von Protokolldateien 10 einer der Fehlersituationen 31 , 32 , 33 , 34 zu einer Gesamtanzahl von Protokolldateien 10 .

Für den Schritt 114 ist vorgesehen, dass die Fehlerberichte 10 in den Fehlerbericht-Gruppen 30 zu einem Gruppenfehlerbericht mit aggregierten Informationen bezüglich der j eweiligen Fehlersituation 31 , 32 , 33 , 34 , beispielsweise Fehlerursache , -häufigkeit , -bild, usw . , zusammengefasst werden . So liegt nur noch ein aggregierter Gruppenfehlerbericht vor . So kann beispielsweise eine schnellere Fehlerlösung erfolgen .

Für den Schritt 116 ist vorgesehen, dass eine Fehlerkritikalität oder, mit anderen Worten, Fehlerschwere , der Fehlerbericht-Gruppen bestimmt wird . Dabei kann auch eine Priorisierung der Fehlerbericht-Gruppen 30 nach der bestimmten Fehlerkritikalität vorgesehen sein . Die Fehlerkritikalität kann beispielsweise auf Basis einer oder mehrerer der zuvor erwähnten Metriken bestimmt werden . Dadurch kann eine Priorisierung bei der Fehlerbehebung erfolgen, um das Produkt , beispielsweise die Werkzeugmaschine , möglichst schnell wieder maximal funktions fähig bzw . fehlerfrei zu machen .

Hierneben kann die aus den Fehlerbericht-Gruppen 30 geschaf fene Datenbank einfach nach bestimmten Fehlersituationen 31 , 32 , 33 , 34 durchsucht werden, um neue , ggf . bisher unbekannte Fehlersituationen schnell einordnen zu können .

Figur 2 zeigt nun eine schematische Detailansicht der Schritte 108 , 110 des Verfahrens 100 aus Fig . 1 in Bezug auf einen Fehlerbericht 10 , der hier beispielhaft zwei Fehlerberichtanhänge 11 aufweist . Die Fehlerberichtanhänge 11 können direkt eingelesen werden oder zuvor bearbeitet werden, um im Verfahren 100 verwendet zu werden . So kann beispielsweise bei Bilddateien als Datei format der Fehlerberichtanhänge 11 zuvor eine Vektorisierung der Fehlerberichtanhänge 11 erfolgen .

Mittels des j eweils für j edes der Formate 12 , 14 der Fehlerberichtanhänge 11 des eingelesenen Fehlerberichts 10 bestimmten Ähnlichkeitsoperators 20 , 21 erfolgt dann durch Vergleich mit Fehlerberichtanhängen 11 , insbesondere von Fehlerberichten 10 (hier rein beispielhaft der Anschaulichkeit halber nur zwei gezeigt ) , die bereits in die Fehlerbericht- Gruppen 30 (hier rein beispielhaft der Fehlersituationen 31 , 32 ) eingruppiert sind, die Bestimmung von Ähnlichkeitswerten 15 für j edes verglichene Paar von Fehlerberichtanhängen 11 .

In diesem Beispiel sind nun vier Ähnlichkeitswerte 15 vorhanden, wie die in Fig . 2 abgebildete Tabelle mit Beispielwerten veranschaulicht . In der linken Spalte sind fett die Fehlerberichtanhänge 11 der Formate 12 und 14 des eingelesenen Fehlerberichts 10 abgedruckt , während in der oberen Spalte die Fehlerberichtanhänge 11 der Formate 12 , 14 der bereits gruppierten Fehlerberichte 10 abgedruckt sind ( kenntlich und unterscheidbar gemacht durch die Zuordnung der j eweiligen Fehlersituation in Klammern) . Jeder Ähnlichkeitswert 15 repräsentiert nun, wie ähnlich die j eweiligen Fehlerberichtanhänge 11 relativ zueinander sind . Wie man sehen kann, sind in diesem Beispiel die Fehlerberichtanhänge 11 des eingelesenen Fehlerberichts 10 ähnlicher zu den Fehlerberichtanhängen 11 des in die Fehlerbericht-Gruppe 30 der Fehlersituation 32 eingruppierten Fehlerberichts 10 als zu den Fehlerberichtanhängen 11 des in die Fehlerbericht-Gruppe 30 der Fehlersituation 31 eingruppierten Fehlerberichts 10 , weil diese j eweils einen höheren Ähnlichkeitswert 15 aufweisen .

In diesem Beispiel von Schritt 110 werden die höchsten Ähnlichkeitswerte 15 aller miteinander verglichenen Fehlerberichtanhänge 11 desselben Formats 12 , 14 herangezogen . Diese betragen hier beispielhaft 0 . 89 für den Fehlerberichtanhang 11 des eingelesenen Fehlerberichts 10 vom Format 12 und 0 . 96 für den Fehlerberichtanhang 11 des eingelesenen Fehlerberichts 10 vom Format 14 . Nun erfolgt ein Vergleich der j eweils höchsten Ähnlichkeitswerte 15 mit einer j eweiligen Gruppierungslogik 35 , vorliegend in der Ausgestaltung eines Vergleichs mit einem Gruppierungsgrenzwert , der hier beispielhaft für j edes der Formate 12 , 14 unterschiedlich gewählt ist , hier beispielhaft 0 . 8 und 0 . 9 .

In dem Beispiel der Fig . 2 sind die höchsten Ähnlichkeitswerte 15 j eweils größer als die j eweiligen Gruppierungsgrenzwerte , sodass ein Gesamtähnlichkeitswert 16 von 100% ( 2 /2 Ähnlichkeitswerte 15 über j eweiligen Gruppierungsgrenzwerten 35 ) für den Fehlerbericht 10 ermittelt werden . Ein weiterer Gruppierungsgrenzwert der Gruppierungslogik 35 , der hier nicht gezeigt ist , kann nun ebenfalls mit diesem Gesamtähnlichkeitswert 16 abgeglichen werden, der beispielsweise 100% betragen muss , sodass j eder der Gruppierungsgrenzwerte für die Ähnlichkeitswerte 15 von den höchsten Ähnlichkeitswerten 15 erreicht werden muss . Entsprechend kann nun der Fehlerbericht 10 anhand seines Fehlerbildes in die zugehörige Fehlerbericht-Gruppe 30 eingruppiert werden, die hier beispielhaft der Fehlersituation 32 entspricht .

Im Übrigen ist es möglich, Fehlerbericht-Gruppen 30 unterschiedlicher Fehlersituation 31 , 32 auch im Zuge des Verfahrens 100 zusammenzufügen bzw . zu verschmel zen, wenn sich aufgrund der einzelnen Fehlerberichtanhänge 11 ergibt , dass diese ähnliche Fehlersituationen 31 , 32 betref fen, also beispielsweise , wenn sich Fehlerberichtanhänge 11 denselben Fehlerbericht-Gruppen 30 zuordnen lassen . Auch ist es selbstverständlich möglich, dass eine neue Fehlerbericht- Gruppe 30 anderer Fehlersituation 33 , 34 ( siehe Fig . 1 ) erstellt wird, wenn ein oder mehrere Fehlerberichtanhänge 11 sich gemäß der Gruppierungslogik 35 keiner der bisherigen Fehlerbericht-Gruppen 30 zuordnen lässt .

Figur 3 zeigt ein alternatives Beispiel für die Schritte 108 , 110 des Verfahrens 100 , wobei dieselben beispielhaften Fehlerberichte 10 wie in Fig . 2 mit denselben Ähnlichkeitswerten 15 in dem Beispiel verwendet werden . Dabei wird der Gesamtähnlichkeitswert 16 aus den beiden höchsten Ähnlichkeitswerten 15 ermittelt , hier beispielhaft als Mittelwert , und dann mit einem Gruppierungsgrenzwert der Gruppierungslogik 35 für den Gesamtähnlichkeitswert 16 verglichen, der hier beispielhaft 0 . 85 beträgt . Sodann erfolgt abhängig vom Vergleich, hier positiv da der Gruppierungsgrenzwert 35 von dem Gesamtähnlichkeitswert 16 überschritten wird, die Gruppierung des Fehlerberichts 10 in die Fehlerbericht-Gruppe 30 der Fehlersituation 32 .

Figur 4 zeigt wiederum ein alternatives Beispiel für die Schritte 108 , 110 des Verfahrens 100 , wobei dieselben beispielhaften Fehlerberichte 10 wie in Fig . 2 mit denselben Ähnlichkeitswerten 15 in dem Beispiel verwendet werden . Hier ist die Gruppierungslogik 35 als Maximal forderung bzw . Bedingung ausgebildet , dass der Fehlerbericht 10 mit dem größten Gesamtähnlichkeitsmittelwert 16 , hier 0 . 925 für Fehlerbericht 10 der Fehlersituation 32 und 0 . 855 für Fehlerbericht 10 der Fehlersituation 31 (vgl . Fig . 2 ) , der j eweils zugehörigen Fehlerbericht-Gruppe 30 zugeordnet wird, hier also wieder der Fehlersituation 32 .

Die in den Fig . 2 und 3 gezeigten Schritte 108 , 110 mit den darin enthaltenen Operationen bezüglich der Ähnlichkeitswerte 15 , dem Gesamtähnlichkeitswert 16 und der Gruppierungslogik 35 sind zwar bevorzugt , j edoch nur beispielhaft .

Selbstverständlich können auch anderweitige Operationen vorgesehen sein, durch die Gesamtähnlichkeitswerte 16 aus Ähnlichkeitswerten 15 ermittelt werden und es können auch andere Gruppierungslogiken 35 vorgesehen sein, sodass die hier ausgeführten Beispiele lediglich beispielhaft und keines falls einschränkend sind . Entscheidend ist vielmehr, dass Ähnlichkeitswerte 15 für die Fehlerberichtanhänge 11 ermittelt werden, diese dann auf eine Fehlerberichtebene , beispielsweise mit dem Gesamtähnlichkeitswert 16 , gebracht werden und schließlich die Gruppierung vorgenommen wird, wobei beispielsweise ein oder mehrere Gruppierungsgrenzwerte im Rahmen der Gruppierungslogik 35 verwendet werden können . Figur 5 zeigt schließlich schematisch ein System 200 , welches ein Gruppierungssystem 5 gemäß einem Aus führungsbeispiel der Erfindung zeigt . Das Gruppierungssystem 5 umfasst vorliegend einen Prozessor 6 und einen Speicher 7 , auf dem ein Computerprogrammprodukt 8 gespeichert ist , welches Befehle umfasst , die bei der Aus führung des Computerprogrammprodukts 8 durch den Prozessor 6 diesen veranlassen, das Verfahren 100 gemäß Fig . 1 aus zuführen .

Um das Verfahren 100 aus zuführen, benötigt das Computerprogrammprodukt 8 die Fehlerberichte 10 des oder der Testsysteme 1 . Das oder die Testsysteme 1 sind Teil des gezeigten übergrei fenden Systems 200 , welches auch das Gruppierungssystem 5 umfasst . Das Gruppierungssystem 5 weist dabei eine Schnittstelle 9 auf , durch welche es die Fehlerberichte 10 von den Testsystemen 1 empfangen kann . Selbstverständlich können die Testsysteme 1 eine entsprechend korrespondierende , nicht gezeigte Schnittstelle zur Datenkommunikation umfassen . Die Übertragung kann bei physischen Schnittstellen beispielsweise drahtgebunden oder drahtlos erfolgen . Die Testsysteme 1 weisen hier j eweils einen Testprozessor 2 und einen Testspeicher 3 auf , auf dem ein Testcomputerprogramm 4 zum Durchführen des Schritts 102 des Verfahrens 100 gespeichert ist . Das oder die Testsystems 1 können dabei j eweils die Produkte selbst sein, wobei darauf das Testcomputerprogramm 4 ausgeführt wird, um die Produkte bzw . ihre Computerprogramme zu testen .

Alternativ zur Darstellung der Fig . 5 können das Testsystem 1 und das Gruppierungssystem 5 auch auf einem der beiden Systeme 1 , 5 aus führbar sein, wozu j eweils nur ein Speicher 7 und ein Prozessor 6 vorhanden sein können, wobei beide Computerprogramme 4 , 8 auf dem Speicher 7 gespeichert sein können . Eines dieser beiden Systeme 1 , 5 kann dabei auch durch das j eweilige Produkt , insbesondere die Maschine , gebildet werden, sodass das erfindungsgemäße Verfahren 100 teilweise oder vollständig auch direkt auf dem Produkt ausgeführt werden kann . Die Schnittstelle 9 kann im Übrigen durch Computerprogrammcode implementiert sein .

Claims

Patentansprüche

1. Computerimplementiertes Verfahren (100) zum Gruppieren von Fehlerberichten (10) in zumindest zwei Fehlerbericht- Gruppen (30) unterschiedlicher Fehlersituation (31, 32, 33, 34) , wobei das Verfahren (100) zumindest die folgenden Schritte (104, 106, 108, 110) aufweist:

- Einlesen von Fehlerberichten (10) mit jeweils zumindest zwei Fehlerberichtanhängen (11) unterschiedlicher Domäne (12, 13, 14) ,

- Bestimmen jeweils eines Ähnlichkeitsoperators (20, 21, 22) für zumindest zwei der unterschiedlichen Domänen (12, 13, 14) zur Ermittlung einer Ähnlichkeit zwischen Fehlerberichtanhängen (11) gleicher Domäne (12, 13, 14) ,

- Ermitteln von Ähnlichkeitswerten (15) der Fehlerberichtanhänge (11) gleicher Domäne (12, 13, 14) durch einen Vergleich zwischen einzelnen Fehlerberichtanhängen (11) gleicher Domäne (12, 13, 14) unterschiedlicher Fehlerberichte (10) mittels des jeweils zuvor bestimmten Ähnlichkeitsoperators (20, 21, 22 ) , und

- Gruppieren der Fehlerberichte (10) in die zumindest zwei Fehlerbericht-Gruppen (30) unterschiedlicher Fehlersituation (31, 32, 33, 34) anhand der zuvor ermittelten Ähnlichkeitswerte (15) .

2. Verfahren (100) nach Anspruch 1, wobei die

Ähnlichkeitswerte (15) mit einer Gruppierungslogik (35) abgeglichen werden, um die Fehlerberichte (10) in die zumindest zwei Fehlerbericht-Gruppen (30) zu gruppieren.

3. Verfahren (100) nach Anspruch 1 oder 2, wobei beim Ermitteln der Ähnlichkeitswerte (15) Fehlerberichtanhänge (11) von bereits gruppierten Fehlerberichten (10) mit eingelesenen Fehlerberichtanhängen (11) von noch nicht gruppierten Fehlerberichten (10) mittels des jeweils zuvor bestimmten Ähnlichkeitsoperators (20, 21, 22) verglichen werden .

4. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Fehlerberichte (10) multimodal sind und die unterschiedlichen Domänen (12, 13, 14) unterschiedliche Formate (12, 13, 14) , insbesondere unterschiedliche Medienformate, aufweisen.

5. Verfahren (100) nach Anspruch 4, wobei die unterschiedlichen Medienformate aus der Gruppe umfassend, Bilddatei, Videodatei, Audiodatei und/oder Textdatei, insbesondere Fehlernachricht und/oder Protokolldatei und/oder Stack Trace, sind.

6. Verfahren (100) nach Anspruch 5, wobei die Bilddatei eine Bildschirmaufnahme eines Testablaufs zum Fehlerbericht (10) zu einem Fehlerausgabezeitpunkt ist und/oder die

Videodatei eine Bildschirmvideoaufnahme des Testablaufs zum Fehlerbericht (10) ist.

7. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Fehlerberichtanhänge (11) unterschiedlicher Domänen (12, 13, 14) Textdateien unterschiedliche Textformate umfassen.

8. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei für die Fehlerbericht-Gruppen (30) jeweils zumindest eine gruppenbasierte Metrik ermittelt wird, insbesondere ein Verhältnis einer Anzahl von Protokolldateien (10) einer der Fehlersituationen (31, 32, 33, 34) zu einer Gesamtanzahl von Protokolldateien (10) .

9. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Verfahren (100) ferner den Schritt (114) eines Zusammenfassens der Fehlerberichte (10) zumindest einer der Fehlerbericht-Gruppen (30) zu einem Gruppenfehlerbericht umfasst.

10. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Verfahren (100) ferner den Schritt (116) eines Bestimmens einer Fehlerkritikalität der Fehlerbericht- Gruppen (30) und insbesondere eine Priorisierung der Fehlerbericht-Gruppen (30) nach der bestimmten Fehlerkritikalität umfasst.

11. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei beim Bestimmen jeweils eines Ähnlichkeitsoperators (20, 21, 22) , beim Ermitteln der Ähnlichkeitswerte (15) und/oder beim Gruppieren der Fehlerberichte (10) maschinelles Lernen eingesetzt wird.

12. Computerprogrammprodukt (8) , umfassend Befehle, die bei der Ausführung des Computerprogrammprodukts durch einen Computer diesen veranlassen, das Verfahren (100) nach einem der voranstehenden Ansprüche auszuführen.

13. Gruppierungssystem (5) , umfassend einen Speicher (7) und einen mit dem Speicher (7) verbundenen Prozessor (6) , wobei das Computerprogrammprodukt (8) nach Anspruch 12 auf dem Speicher (7) gespeichert ist und der Prozessor (6) zum Ausführen der Befehle des Computerprogrammprodukts (8) eingerichtet ist.

14. Gruppierungssystem (5) nach Anspruch 13, ferner umfassend zumindest eine Schnittstelle (9) zu zumindest einem Testsystem (1) , wobei das zumindest eine Testsystem (1) zum Erzeugen von Fehlerberichten (10) mit jeweils zumindest zwei Fehlerberichtanhängen (11) unterschiedlicher Domäne (12, 13, 14) eingerichtet ist.

15. System (200) , umfassend das Gruppierungssystem (5) nach

Anspruch 14 und das zumindest eine Testsystem (1) .